主题
🧠 图解记忆:能放得下,不等于每个位置都用得好;点击图片可查看原图。
当推理位置超过训练分布时,旋转频率和相对位置模式发生分布外变化;即使模型接口允许更长上下文,也不代表能稳定利用中间信息。位置插值、NTK-aware scaling、YaRN 等方法通过调整位置或频率降低外推难度,但可能牺牲短上下文表现。
验证不能只做 needle test,还要覆盖长文档问答、多跳检索、位置分桶、困惑度、短上下文回归和显存/延迟。