
🧠 记忆锚点:预训练学通用规律,微调学稳定任务与行为;先定目标,再用评测证明改变。
💡 答案要点
微调 = 在预训练模型基础上,用特定任务数据继续训练
为什么需要微调?
| 场景 | 预训练模型 | 微调后 |
|---|---|---|
| 领域适配 | 通用知识 | 专业领域(医疗、法律) |
| 任务优化 | 多任务能力 | 特定任务(分类、摘要) |
| 风格定制 | 标准输出 | 特定风格(客服、助手) |
| 行为对齐 | 可能不安全 | 符合人类价值观 |
微调 vs 预训练:
| 维度 | 预训练 | 微调 |
|---|---|---|
| 数据量 | 海量(TB级) | 较少(GB-MB级) |
| 训练时间 | 数周-数月 | 数小时-数天 |
| 成本 | 极高(数百万美元) | 较低(数千-数万美元) |
| 目标 | 学习通用知识 | 适配特定任务 |
面试话术:
"微调是在预训练模型基础上的二次训练。预训练让模型学会语言,微调让模型学会特定任务。就像通才变专家。"
📚 参考:Hugging Face:Fine-tune a pretrained model · OpenAI Fine-tuning Guide(何时需要微调)