🧠 图解记忆:T=0 降低采样随机性,环境一致才接近可复现;点击图片可查看原图。
面试坑点:很多人以为 T=0 就是完全确定,其实不然。
原因(三大层面)
- 浮点计算非确定性:GPU 并行计算(如 Attention、矩阵乘法)存在浮点累加顺序差异,导致细微数值抖动,可能影响 argmax 结果
- 采样随机性(部分框架):某些框架 T=0 时若遇到多个 Token 概率并列,会用随机打破平局
- 批处理/缓存影响:KV Cache、并行推理可能引入微小差异
工程建议
- 追求严格确定:固定 seed + T=0 + 关闭采样随机性 + 单卡单进程推理
- 业务对一致性敏感:加输出校验/重试
面试话术
"Temperature=0 能大幅降低随机性,但不保证 100% 确定,因为 GPU 浮点运算的并行累加顺序有微小差异,极端情况下会影响 argmax 结果。要做到严格可复现,需要固定 seed、关闭采样随机并保证推理环境一致。"
