ALGORITHM
RMSNorm 背后的数学
RMSNorm本质上是在做一个赌注:激活向量的方向已经承载了所有有用信息,你只需要归一化幅度来保持训练稳定。
ALGORITHM
RMSNorm本质上是在做一个赌注:激活向量的方向已经承载了所有有用信息,你只需要归一化幅度来保持训练稳定。
ALGORITHM
RoPE,即旋转位置编码,采用了一种巧妙的方法来同时融入相对和绝对位置信息。
ALGORITHM
在本文中,我们将讨论一种新的优化器——Muon,Muon 优化器生成的损失曲线是每一位 ML 研究者的梦想。
ALGORITHM
数字中隐藏着一个奇特的指纹——一种如此微妙的模式,以至于大多数人从未注意到它,却又如此强大,以至于它揭露了财务欺诈、伪造的选举,甚至是数十亿美元公司里的做假账行为。
ALGORITHM
Google 的新框架揭示,每一个现代序列模型都在解决同一个四选优化问题
ALGORITHM
为了节约token成本,我将蒸馏一个紧凑的 Llama 3.2–3B 模型,使其能够模仿大预言模型(GPT)的对话能力。
ALGORITHM
蒸馏技术的原理很简单:一个大的"教师"模型回答问题;一个较小的"学生"模型从这些答案以及其背后的概率 中学习。
ALGORITHM
文本扩散模型是大型语言模型(LLM),它使用扩散来"去噪"一组生成的token,而不是像自回归(AR)LLM那样一次预测一个下一个token
ALGORITHM
注意力并非你所需要的一切。事实证明,有时候你需要一条蛇。
ALGORITHM
Mamba-3不仅仅是增量改进。它反映了一个更深层的转变——转向能够在现实世界系统中大规模运行的推理优化模型。
ALGORITHM
我打赌还有另一种新架构等待发现,其带来的增益将与 Transformer 相对于 LSTM 的提升一样大。
ALGORITHM
了解 JEPA(Joint Embedding Predictive Architecture),这是 Yann LeCun 提出的框架,用于在 latent space 中实现稳定的 AI 预测,无需进行生成式解码。