Skip to content
🔗 分享本题
查看我的学习进度 →

全量微调与 PEFT 参数更新范围、资源及部署取舍图

🧠 记忆锚点:全量更新能力强但成本高;PEFT 冻结主干,只训练小增量,先用它建立基线。

💡 答案要点

核心区别:更新多少参数

类型更新参数量内存占用训练时间效果
全量微调100%高(需存储全部梯度)最好
PEFT0.1-1%低(只存储少量梯度)接近全量

PEFT 的主要方法:

参数高效微调(PEFT)
├── LoRA(Low-Rank Adaptation)
├── Adapter(适配器层)
├── Prompt Tuning(提示词微调)
├── Prefix Tuning(前缀微调)
└── P-Tuning(混合方法)

资源对比(以 7B 模型为例):

方法可训练参数GPU 显存训练时间
全量微调7B(100%)~80GB10h
LoRA70M(1%)~20GB3h
Prompt Tuning1M(0.01%)~16GB1h

面试话术:

示例表达(仅在能用本人经历或可复现实验佐证时使用): "PEFT 是用 1% 的参数达到 95% 的效果。特别是 LoRA,在资源受限时是首选。我在项目中用 LoRA 微调 13B 模型,单卡 A100 就够了。"