Transformer局限性

RoPE在长上下文中的理论局限性分析

该论文通过理论分析证明，旋转位置编码（RoPE）在长上下文Transformer模型中存在固有局限：随着上下文增长，RoPE无法同时保持位置区分能力与词元相关性一致性，调整超参数只能在这两者间进行权衡。