Llama模型中RoPE平移不变性失效的原因探究

• 预训练分布的适配问题：Llama在预训练阶段，所有token的位置索引都是从0开始递增的，模型已经完全适应了这个范围内的RoPE旋转编码分布。当你把所有位置索引统一加上固定值（比如1000），相当于让模型处理它从未见过的「大位置编码」——RoPE的旋转角度是位置索引乘以固定频率，大位置对应的旋转角度远超预训练时的分布区间，模型对这种陌生的特征编码没有学习经验，自然没法正常输出。

• 旋转周期的语义错位：RoPE的旋转虽然有周期性，但预训练时模型学习的是小位置区间内的周期语义关联。比如位置k和k+T（T为周期）的旋转角度相同，但大位置的周期重复模式和小位置的语义逻辑完全不匹配。强行平移到1000开始的位置，相当于把所有token的编码都放到了预训练没覆盖的周期段，就算相对距离没变，模型也没法把这些编码和原本学习到的语义对应起来。

• 下游任务的位置绑定：大部分下游任务微调时，也是沿用0开始的位置索引，模型已经把特定位置范围和任务逻辑绑定了——比如开头几个位置对应问题、中间对应上下文。突然把位置整体平移，等于打乱了这种绑定关系，模型的任务适配逻辑直接失效，性能自然下降。

内容的提问来源于stack exchange，提问作者Arist12