🧠 图解记忆:Temperature 调分布,Top-P 看累计概率,Top-K 限候选数;点击图片可查看原图。
Temperature(温度)
控制输出的随机性:
| 值 | 效果 | 适用场景 |
|---|---|---|
| 0 | 尽量选择高概率 token,随机性较低但不保证完全可复现 | 问答、代码生成 |
| 0.3-0.7 | 适度随机 | 通用对话 |
| 0.7-1.0 | 高随机性 | 创意写作 |
Top-P(核采样)
将候选 Token 按概率从高到低排序,取“累计概率首次达到 P”的最小候选集合,再在集合内重新归一化并采样:
top_p=0.9不表示固定保留 90% 的词表,而是保留累计概率达到 0.9 所需的候选;- 分布很集中时集合可能很小,分布平坦时集合会更大;
- 它和 Top-K 都是在裁剪候选集合,通常不需要同时激进调整。
Top-K
只从概率最高的 K 个词里采样:
- Top-K = 50:只从前 50 个候选词里选
推荐配置
python
# RAG/问答
Temperature=0, Top-P=0.9
# 创意写作
Temperature=0.7, Top-P=0.9
# 代码生成
Temperature=0.2, Top-P=0.95