RMSNORM

ALGORITHM

RMSNorm 背后的数学

RMSNorm本质上是在做一个赌注：激活向量的方向已经承载了所有有用信息，你只需要归一化幅度来保持训练稳定。