_{🧠 图解记忆：LM Head 打分，Softmax 归一化，解码选 Token，循环到 EOS；点击图片可查看原图。}

Logits = 模型输出层（LM Head）对词表中每个 Token 的打分（未归一化的原始分数），数值越大表示越可能被选中。

完整生成流程（面试必答）

输入文本 → Tokenizer分词 → Embedding → Transformer多层计算
→ 输出层LM Head得到Logits（长度=词表大小）
→ Softmax归一化成概率 → 采样策略选出下一个Token
→ 拼接到输入 → 循环直到遇到停止符

关键点

概念	说明
Logits	未归一化分数，可正可负，数值越大越优
Softmax	把 Logits 转成概率分布（和为1）
Temperature	除以 Temperature 再 Softmax，控制分布尖锐度
LM Head	通常是 hidden_size × vocab_size 的线性层

面试话术

"Logits 是模型对词表每个 Token 的原始打分，经过 Softmax 变成概率。生成时先算 Logits，再用采样策略（贪心/Top-K/Top-P）选 Token，选中的 Token 拼回输入继续预测下一个，直到遇到 EOS 停止符。"

---