Skip to content
🔗 分享本题
查看我的学习进度 →

涌现能力动漫知识图:底层能力可能随规模和计算连续增长,但离散评分跨过阈值时会表现为突然跳变,因此不存在统一参数阈值

🧠 图解记忆:能力可能连续增长,评分却会突然跳变;点击图片可查看原图。

30 秒回答

涌现能力通常指:模型规模或训练计算增加后,某项能力在评测上从接近随机快速提升。它是一个观察结果,不代表存在统一的参数阈值,也不能仅凭模型大小预测。部分“突然出现”还可能来自离散评分指标——底层能力连续改善,但只有跨过答对阈值后分数才跳变。

常见现象

💡 答案要点
能力如何观察注意事项
上下文学习增加示例后任务表现改善受数据污染、示例格式和模型训练方式影响
复杂推理多步任务准确率随规模或推理预算上升不能只看最终答案,应检查过程和稳定性
指令遵循对未见指令的泛化能力提升往往也受 SFT、偏好优化和系统提示影响
代码生成单测通过率提高需要在固定脚手架、预算和测试集下比较

面试中应强调的边界

  • 不要背诵“10B/100B 出现某能力”之类固定阈值;
  • 区分模型规模、训练数据、后训练和测试时算力的贡献;
  • 检查评测指标是否连续、是否存在污染,以及提升能否迁移到真实任务;
  • 工程选型仍应基于自己的评测集,而不是假设更大模型必然具备某项能力。