ALGORITHM 稀疏:AI的未来 彩票假设(LTH)指出,大多数神经网络可以剪枝高达 90% 的参数而不会损失性能。这意味着,与其训练一个庞大而复杂的模型,不如训练一个更小、更高效且性能同样出色的模型。
ALGORITHM 从零实现自动语音识别 (ASR) Transformer 架构最初是为解决自然语言处理领域的复杂任务而提出的。然而,我们不能简单地套用标准的Transformer架构,就指望它在所有模态下都能达到最先进的水平。