🧠 图解记忆：LLM 理解与表达，工具精确计算，校验守住结果；点击图片可查看原图。
LLM 数学差是结构性问题，不是"再训大一点"就能完全解决的。
四大原因（面试必答）
| 原因 | 说明 |
|---|---|
| 1. Tokenization 不一致 | 数字被切碎且不稳定：1234 → ["12","34"]，1235 → ["123","5"]——模型看不到稳定的"数位"结构，难以学算术规律 |
| 2. 自回归误差累积 | 多步计算中间错一步，后面全错（一步错步步错） |
| 3. 训练目标不匹配 | next-token 预测学的是"文本的统计分布"，而数学要的是"精确符号计算"——两者目标不同 |
| 4. 缺外部工具 | 模型没有"计算器"，大数乘法/高精度运算靠"神经记忆"硬扛 |
缓解方案（工程视角）
| 方案 | 做法 | 效果 |
|---|---|---|
| CoT 分步计算 | 让模型一步步推导（配合验证） | 显著提升，但仍可能中间出错 |
| 代码解释器 / 工具调用 | 让模型写 Python 执行计算（Calculator/Tool Use） | 大数计算 100% 正确 ⭐ |
| 约束解码 | 数字场景用结构化输出 + 格式校验 | 防格式错，不防算错 |
| 自洽性（Self-Consistency） | 多次采样投票取众数 | 提升稳定性 |
| 专用数学模型 | 数学题切给推理模型（o3/DeepSeek-R1） | 效果最好，成本高 |
面试加分点
- 工程上"别让 LLM 硬算"：金额、账目、精确计算一律走代码/规则引擎，LLM 只做意图理解和自然语言生成
- 模型路由：检测到数学类任务自动切推理模型或工具模式
面试话术：
"LLM 数学差有三个根源：数字被 tokenizer 切碎导致学不到数位规律、自回归一步错步步错、训练目标本身就不是精确计算。工程解法是'别让它硬算'——精确计算一律用代码解释器或工具，LLM 只负责理解意图和表达结果；简单算术可以让它 CoT 分步算，复杂数学直接路由给推理模型。我在财务问答系统里就是这么做的，金额计算 0 错误。"