_{🧠 图解记忆：Attention 搬运 Token 信息，FFN 逐 Token 加工特征；点击图片可查看原图。}

💡 答案要点

Attention 在 Token 之间混合信息，FFN 则对每个 Token 的通道维度独立做非线性变换，通常占据模型的大量参数和计算。SwiGLU 使用门控分支控制信息通过，与 ReLU/GELU FFN 相比常能改善训练效果，但参数量和中间维度的比较必须使用等预算设置。

常见追问包括：为什么 FFN 可以逐 Token 并行、门控分支如何计算、MoE 替换的是哪一部分。

📚 参考：LLaMA: Open and Efficient Foundation Language Models（SwiGLU 用例）