> ## Content Index
> Fetch the complete content index at: https://www.hubwiz.com/blog/llms.txt
> Use this file to discover other available public pages before exploring further.

# 旋转位置编码(RoPE)简明教程
- URL: https://www.hubwiz.com/blog/rotary-position-embedding-concise-tutorial/
- Published: 2026-05-05T11:17:48.000Z
- Updated: 2026-10-13T15:57:58.000Z
- Description: RoPE，即旋转位置编码，采用了一种巧妙的方法来同时融入相对和绝对位置信息。
- Author: admin
- Tags: ALGORITHM, ROPE, #Import 2026-10-14 14:41

[**旋转位置编码（Rotary Position Embedding，RoPE）**](https://arxiv.org/abs/2104.09864?ref=hubwiz.com) 已被广泛应用于最近的大语言模型（LLM）中来编码位置信息，包括Meta的**LLaMA**和Google的**PaLM**。

位置信息在序列模型中至关重要，而[位置编码在基于Transformer的架构中扮演着重要角色](https://medium.com/@kuipasta1121/exploring-classic-position-embeddings-in-attention-based-models-3680bc2b8591?ref=hubwiz.com)。RoPE，即旋转位置编码，采用了一种巧妙的方法来同时融入相对和绝对位置信息。

## 1、重新思考注意力乘积

在介绍RoPE之前，让我们回顾一下注意力机制的基础知识。注意力关注的是成对关系：一个token有一个查询向量*q*，另一个token有一个键向量*k*。**我们通过计算** *q* **和** *k* **的内积来获得注意力分数，而这个内积正是位置编码发挥作用的关键。**

例如，要获取位置对(1, 3)的注意力分数，我们从token 1获取查询向量，从token 3获取键向量。

我们通过**token编码器**首先提取token的嵌入来获得查询向量***q1***。然后，我们将该嵌入及其位置信息输入**位置+注意力编码器**，该编码器整合位置信息并投影结果以产生键向量。

![注意力乘积图](https://www.hubwiz.com/blog/content/images/2026/05/1-wZe1fGRYxEX4k14vHFDqSQ.png)

我们对第三个token执行类似的过程来获得***k3***，即token 3对应的键向量。

![键向量图](https://www.hubwiz.com/blog/content/images/2026/05/1-yVeVH1m4aIG6R2QcI4Jbfg.png)

最后，我们计算***q1***和***k3***的内积来确定(1, 3)的注意力分数。在下面的等式中，尖括号 **<>**表示内积，***x***表示token嵌入，***f***是注意力+位置编码器。

![内积等式](https://www.hubwiz.com/blog/content/images/2026/05/1-RxfntXuCatMOXZ8iMB9qqg.png)

作者随后反思了这一公式，并意识到在这种设置中，**相对位置信息在内积之前就被编码了——这意味着它本质上与token嵌入绑定在一起**。

他们问自己："是否存在另一种方式，只在需要注意力分数时——即执行***q,k***内积的那一刻——才编码相对位置信息？"或者等价地说，***q,k***内积**等价于另一个函数g，该函数只以token嵌入及其位置作为输入**？

![函数g等式](https://www.hubwiz.com/blog/content/images/2026/05/1-k94LENp-BGi7CLnAMMVn6g.png)

这就是RoPE位置编码发挥作用的地方。

## 2、RoPE的直觉：二维简单情形

作者首先考虑一个简单的二维情形，其中token嵌入和注意力向量（查询、键）都位于二维空间中。为方便起见，这些二维向量也可以用复数表示（如图所示）。

![二维token嵌入](https://www.hubwiz.com/blog/content/images/2026/05/1-vPQreHexP93c6rRp4Je1aw.png)

二维条件下的token嵌入

逆时针旋转矩阵可以用矩阵形式和指数形式两种方式表示。

![旋转矩阵](https://www.hubwiz.com/blog/content/images/2026/05/1-zdWnv6GULwHO6r0lbYJuQg.png)

二维条件下的逆时针旋转

类似地，我们可以用二维矩阵表示从token嵌入到键或查询向量的投影。

![投影矩阵](https://www.hubwiz.com/blog/content/images/2026/05/1-IMt8C-RZ2Tp8N4Ww_7Rccw.png)

作者发现满足以下条件的一种可能解（即f和g的变换）：

![条件等式](https://www.hubwiz.com/blog/content/images/2026/05/1-zcKFCyDscC5ogyg-mvWCyQ.png)

具有以下形式：

![解的形式](https://www.hubwiz.com/blog/content/images/2026/05/1-UPIrsYMxPOOE8k2vcI324A.png)

或用图形表示：

![图形解](https://www.hubwiz.com/blog/content/images/2026/05/1-wzBCcWf3cNhGXDVYxAZ3ag.png)

二维情形下的解，以图形方式表示。

简而言之，这意味着经过变换后，我们可以先旋转再计算内积，也可以先计算内积再旋转，然后取实部。在第二种方法中，我们只需要(m–n)来进行旋转，这表明这是一种相对位置编码。

这就是旋转位置编码（RoPE）背后的直觉：***只需将经过仿射变换的词嵌入向量旋转一个与其位置索引成正比的角度即可。***

## 3、RoPE的一般形式

要将其推广到d维情形，考虑旋转矩阵的形式。作者首先假设d为偶数，因此可以将其分为d/2个块。每个块独立执行一次二维旋转：

![d维旋转](https://www.hubwiz.com/blog/content/images/2026/05/1-__p2WDBbzc8ZAPD9na3wkg.png)

现在，问题是：每个块旋转多少？回顾[正弦位置编码在Transformer中的应用方式](https://medium.com/@kuipasta1121/exploring-classic-position-embeddings-in-attention-based-models-3680bc2b8591?ref=hubwiz.com)，其使用的角度参数为：

![正弦角度参数](https://www.hubwiz.com/blog/content/images/2026/05/1-HFEtxCXiBJRxxt5CyB1FTg.png)

遵循这一实现方式，作者采用了类似的参数：

![RoPE角度参数](https://www.hubwiz.com/blog/content/images/2026/05/1-ngHd5GO-gnqplwRp1dumHQ.png)

这里，i表示第i个子块，m·θ决定了对应子块的旋转角度。因此，旋转矩阵的一般形式为：

![一般旋转矩阵](https://www.hubwiz.com/blog/content/images/2026/05/1-2h1UrdFgcbE_U7wiJ-39ow.png)

而应用于token嵌入的整体变换为：

![整体变换](https://www.hubwiz.com/blog/content/images/2026/05/1-ih7zFZqrQcMK5BRmSJskjQ.png)

其中W是查询或键向量的d维仿射变换，R是上述旋转矩阵。下面是原论文中的图形解释。

![图形解释](https://www.hubwiz.com/blog/content/images/2026/05/1-f-QBvEGcXNULLz2qWrB6ww.png)

注意旋转矩阵R非常稀疏，因此直接乘法效率不高。取而代之，一种计算上更高效的R乘法实现如下：

![高效计算](https://www.hubwiz.com/blog/content/images/2026/05/1-1SqGKgYMTdv9bbZhy8gX-g.png)

这里，带有圆圈和十字的运算符(⊗)表示逐元素（Hadamard）乘积。

## 4、RoPE如何改进语言模型

在原始RoPE论文中，作者通过在预训练阶段用RoPE替换BERT原有的正弦位置编码来验证其性能，得到的模型被称为**RoFormer**。在预训练过程中，掩码语言建模（MLM）损失表明，使用RoPE的BERT收敛更快。

![MLM损失对比](https://www.hubwiz.com/blog/content/images/2026/05/1-F1QvM7N9thd6OzjqTyaWJQ.png)

预训练完成后，作者在各种GLUE任务（NLP任务）上微调预训练的RoFormer权重，以评估其在下游NLP任务中的能力，RoFormer在6个数据集中的3个上优于BERT。

![GLUE基准测试结果](https://www.hubwiz.com/blog/content/images/2026/05/1-jjuB-qrocaBKp3ggWE06dQ.png)

---

原文链接: [RoPE: A Detailed Guide to Rotary Position Embedding in Modern LLMs](https://medium.com/@mlshark/rope-a-detailed-guide-to-rotary-position-embedding-in-modern-llms-fde71785f152?ref=hubwiz.com)

汇智网翻译整理，转载请标明出处

> **这是「RAG / 数据 / 文档智能」专题的一部分。**完整地图见：[RAG / 数据 / 文档智能完全指南](https://www.hubwiz.com/blog/rag-data-stack/)