Skip to content
🔗 分享本题
查看我的学习进度 →

Temperature 等于零仍非绝对确定的动漫知识图:浮点并行、并列值处理及批处理或推理内核差异可能在近似并列时改变 argmax 结果

🧠 图解记忆:T=0 降低采样随机性,环境一致才接近可复现;点击图片可查看原图。

面试坑点:很多人以为 T=0 就是完全确定,其实不然。

原因(三大层面)

  1. 浮点计算非确定性:GPU 并行计算(如 Attention、矩阵乘法)存在浮点累加顺序差异,导致细微数值抖动,可能影响 argmax 结果
  2. 采样随机性(部分框架):某些框架 T=0 时若遇到多个 Token 概率并列,会用随机打破平局
  3. 批处理/缓存影响:KV Cache、并行推理可能引入微小差异

工程建议

  • 追求严格确定:固定 seed + T=0 + 关闭采样随机性 + 单卡单进程推理
  • 业务对一致性敏感:加输出校验/重试

面试话术

"Temperature=0 能大幅降低随机性,但不保证 100% 确定,因为 GPU 浮点运算的并行累加顺序有微小差异,极端情况下会影响 argmax 结果。要做到严格可复现,需要固定 seed、关闭采样随机并保证推理环境一致。"