Skip to content
🔗 分享本题
查看我的学习进度 →

RoPE 长度外推动漫知识图:超出训练长度后位置频率进入分布外,可用位置插值、NTK-aware 或 YaRN 扩展,并需按位置、长文多跳、困惑度、短上下文回归和成本综合验证

🧠 图解记忆:能放得下,不等于每个位置都用得好;点击图片可查看原图。

💡 答案要点

当推理位置超过训练分布时,旋转频率和相对位置模式发生分布外变化;即使模型接口允许更长上下文,也不代表能稳定利用中间信息。位置插值、NTK-aware scaling、YaRN 等方法通过调整位置或频率降低外推难度,但可能牺牲短上下文表现。

验证不能只做 needle test,还要覆盖长文档问答、多跳检索、位置分桶、困惑度、短上下文回归和显存/延迟。