| 概念 | 一句话解释 |
|---|---|
| Temperature | 控制输出随机性,0=确定,1=随机 |
| CoT | 让模型一步步思考,提升推理能力 |
| Few-shot | 给几个例子,让模型模仿 |
| Zero-shot | 不给例子,直接让模型做 |
| Prompt Caching | KV Cache跨请求复用,prefix放最前可省90% |
| CoVe | Chain-of-Verification:草稿→质疑→验证→修正闭环 |
| LLM-as-a-Judge | 强模型当裁判自动化评估输出质量 |
| Prompt | 给模型的指令和上下文 |
进阶技巧
| 技巧 | 原理 | 提升效果 | 成本 |
|---|---|---|---|
| Self-Consistency | 多次推理投票选最优,n=5提升13% | +15-20% | 5-10x |
| Tree of Thoughts | 树状探索回溯,Beam Search优化 | +40-60% | 10-50x |
| Auto-CoT | 自动生成示例 | 接近人工CoT | 聚类成本 |
| Prompt Caching | KV Cache跨请求复用,prefix顺序优化 | -90% cost | 极低 |
| Chain-of-Verification | 草稿→规划验证问题→独立验证→重写 | 事实性收益需按任务评测 | 增加调用与延迟 |
| Speculative RAG | 生成初稿→逐句验证证据→修正重构 | faithfulness↑20% | 2x延迟 |
| LLM-as-a-Judge | 强模型当裁判,固定judge+counterbalancing | 自动化评估 | 低 |
| A/B Testing框架 | 三层评估(离线回归→影子测试→在线A/B) | regression↓90% | 中 |
| Prompt Leakage防护 | 多层防御 | 安全性 | 低 |
| Prompt Injection防御 | 输入隔离+指令边界+工具权限最小化 | 安全性 | 低 |
| 结构化输出 | JSON Mode/Structured Outputs/Function Calling | ||
| Context Engineering | 上下文信息系统化编排,Lost in Middle解决 | ||
| 推理模型Prompt | o3/R1不需要外部CoT,关心Thinking Budget | 避免反效果 | 无 |
| Temperature实战 | RAG 0.1-0.3,创意 0.7-1.0,代码 0.0-0.2 |