_{🧠 图解记忆：LayerNorm做完整的标准化，RMSNorm去掉均值只留尺度归一化。}

💡 答案要点

核心区别：是否减去均值

LayerNorm(Ba et al.2016): mu=mean(x), sigma2=var(x) LayerNorm(x)=gamma*(x-mu)/sqrt(sigma2+eps)+beta

RMSNorm(Zhang&Sennrich,2019): RMS(x)=sqrt(mean(x^2)+eps) RMSNorm(x)=gamma*x/RMS(x)

LayerNorm: mean subtraction+可学习bias beta RMSNorm: 无mean subtraction+无可学习bias beta，只保留scale gamma

为什么去掉均值反而够用？ Mean centering对梯度流动贡献很小，Scale normalization才是关键。去掉mean后训练稳定性和收敛速度几乎不变，用15%计算节省换95%+效果。

计算效率： LayerNorm约5x元素操作，RMSNorm约3x→节省40%元素操作，实际收益10-15%运行时间。

Adoption Timeline: 2019提出→Gopher首次采用→2022+:LLaMA,Mistral,Gemma,Qwen,Yi全部RMSNorm

QK-Norm的使用场景： 不同于LayerNorm/RMSNorm（对整个hidden state归一化），QK-Norm只在attention内部对Q和K向量做归一化以稳定注意力分数。代表：Qwen系列默认启用。

什么时候还用LayerNorm？ 传统NLP任务(BERT)、迁移已有预训练检查点时、教育场景。但在从头训练的新模型上，2026年几乎没有理由选LayerNorm了。

面试加分项： RMSNorm被LLaMA/Mistral/Gemma全系列采用、了解QK-Norm与Pre-LN正交

面试话术：

"RMSNorm和LayerNorm的核心区别是RMSNorm不去减均值也不加偏置。实践中归一化的核心作用是控制尺度而减均值收益有限。RMSNorm省去约40%的元素操作推理加速10-15%，无数实验验证不会牺牲质量。从LLaMA到Mistral到所有主流2024-2026模型都用了RMSNorm替代LayerNorm。"

---