
🧠 记忆锚点:全量更新能力强但成本高;PEFT 冻结主干,只训练小增量,先用它建立基线。
💡 答案要点
核心区别:更新多少参数
| 类型 | 更新参数量 | 内存占用 | 训练时间 | 效果 |
|---|---|---|---|---|
| 全量微调 | 100% | 高(需存储全部梯度) | 长 | 最好 |
| PEFT | 0.1-1% | 低(只存储少量梯度) | 短 | 接近全量 |
PEFT 的主要方法:
参数高效微调(PEFT)
├── LoRA(Low-Rank Adaptation)
├── Adapter(适配器层)
├── Prompt Tuning(提示词微调)
├── Prefix Tuning(前缀微调)
└── P-Tuning(混合方法)资源对比(以 7B 模型为例):
| 方法 | 可训练参数 | GPU 显存 | 训练时间 |
|---|---|---|---|
| 全量微调 | 7B(100%) | ~80GB | 10h |
| LoRA | 70M(1%) | ~20GB | 3h |
| Prompt Tuning | 1M(0.01%) | ~16GB | 1h |
面试话术:
示例表达(仅在能用本人经历或可复现实验佐证时使用): "PEFT 是用 1% 的参数达到 95% 的效果。特别是 LoRA,在资源受限时是首选。我在项目中用 LoRA 微调 13B 模型,单卡 A100 就够了。"