视频加载失败

一个方程的四种解法:PPO / DPO / GRPO / GSPO

5580 字
28 分钟
一个方程的四种解法:PPO / DPO / GRPO / GSPO

本系列开篇。系列目录:《一个方程的四种解法》——篇 0 总览 / 篇 1 PPO / 篇 2 DPO / 篇 3 GRPO / 篇 4 GSPO。

1. 从 InstructGPT 说起:RLHF 要优化的方程#

1.1 InstructGPT 三阶段#

预训练模型学会了”接话”,但没学会”好好回答”。原因很根本:预训练目标是预测下一个词,而”有用、诚实、无害”从来不是下一个词——目标错位。

InstructGPT(2022)给出的流水线分三步:

  1. SFT(监督微调):拿人工写的高质量示范回答做下一词预测,让模型学会”回答长什么样”
  2. RM(奖励模型):拿同一个问题的多个回答让人类排偏好,训一个模型学会打分
  3. RL(强化学习):用打分去优化生成模型

为什么 SFT 不够?示范数据又贵又有限,而且只能模仿——教不出超过示范水平的行为。

那有了 RM 为什么还要 RL?因为 RM 只会打分,不会生成。想找”得分最高的回答”,就得把所有可能的回答都拿出来比一遍。但可能的回答有多少?词表十几万,回答动辄几百上千个词,组合出来的候选数量是天文数字,根本没法一个个试。RL 的做法是:让模型自己生成回答,看分数,按分数调参数,一步步往高分方向走。

1.2 目标方程:多拿分,但别走太远#

第三步要优化的目标,就是下面这个方程:

max⁡πθ    Ex∼D,  y∼πθ(⋅∣x)[ r(x,y) ]  −  β⋅DKL(πθ ∥ πref)(0.1)\max_{\pi_\theta}\;\; \mathbb{E}_{x \sim \mathcal{D},\; y \sim \pi_\theta(\cdot|x)}\big[\, r(x,y) \,\big] \;-\; \beta \cdot D_{\mathrm{KL}}\big( \pi_\theta \,\|\, \pi_{\mathrm{ref}} \big) \tag{0.1}

逐项拆开:

  • Ey∼πθ[r(x,y)]\mathbb{E}_{y \sim \pi_\theta}[r(x,y)]:模型自己生成的回答,在打分器那里的平均得分——期望就是按概率加权的平均
  • DKL(πθ∥πref)D_{\mathrm{KL}}(\pi_\theta \| \pi_{\mathrm{ref}}) 是 KL 散度(Kullback–Leibler divergence,衡量两个概率分布差多远的一个量):这里衡量当前模型和参考模型(SFT 模型,训练全程冻结不动)的偏离程度——改了多少
  • β\beta:约束强度。β\beta 越大,“偏得太远”被罚得越狠;β\beta 大到极限,模型完全不敢动(等于没做 RL);β\beta 小到 0,只顾刷分不管别的(模型会崩)

1.3 为什么必须有 KL 项#

如果只最大化奖励会发生什么?——Reward Hacking(奖励作弊)。

RM 是从有限偏好数据里学出来的有缺陷的智能体。古德哈特定律说:当一个指标变成目标,它就不再是好指标。无约束地最大化一个有缺陷的代理,等于无限放大它的盲点——历史上真实发生过的行为:输出越来越长(长回答更容易被偏好)、堆砌讨好句式、重复”高分组句型”直到胡言乱语。

KL 项同时干三件事:限制作弊空间(RM 不可靠的区域通常离参考模型很远)、保住语言能力(语言能力存在参考模型的参数里,跑太远等于失忆)、保住多样性(无约束优化会让输出坍缩到少数几个高分模板上)。

后面要讲的四个算法,优化的都是这个方程,区别只在解法:PPO(Proximal Policy Optimization,近端策略优化)用在线强化学习老老实实解它;DPO(Direct Preference Optimization,直接偏好优化)把它的最优解直接推导成一个损失函数;GRPO(Group Relative Policy Optimization,组相对策略优化)和 GSPO(Group Sequence Policy Optimization,组序列策略优化)换掉它里面”优势”的估计方式。把方程记牢,后面每个算法都能对号入座。


2. 术语对照:强化学习的词放到 LLM 里是什么#

强化学习文献里的一套词汇,放到 LLM 场景里都有明确对应:

RL 概念LLM 中的对应物说明
智能体 agent被训练的 LLM,即策略 πθ\pi_\theta一般由 SFT 模型初始化
环境 environmentprompt + 生成过程
状态 sts_t已生成的 token 前缀 (x, y<t)(x,\, y_{<t})生成第 tt 个 token 前的全部信息
动作 ata_t下一个 token yty_t从词表里选一个词
轨迹 τ\tau一次完整回复 (x,y)(x, y)
奖励 rr对完整回复的标量分RM 打分 / 规则判分 / 偏好隐式

表格之后补两个容易卡住的点。

“马尔可夫”是什么意思。 上表说 LLM 生成是个”马尔可夫决策过程”,马尔可夫的意思只有一句话:决定下一步只需要当前状态,不需要更早的历史。对 LLM 来说,生成下一个词只看已有的前缀——而前缀本身就包含了全部历史——所以天然满足,不用额外做什么。

一条回复的生成概率,是逐词连乘的。 模型每一步做的事情是:看到前缀,给词表里每一个词算一个概率,然后按概率挑一个。第 tt 步选中词 yty_t 的概率,记作 πθ(yt∣x,y<t)\pi_\theta(y_t \mid x, y_{<t}),其中 y<ty_{<t} 表示”第 tt 步之前已经生成的所有词”。那么整条回复 yy 被生成出来的概率,就是把每一步的概率乘起来:

πθ(y∣x)  =  ∏t=1∣y∣πθ(yt ∣ x, y<t)(0.2)\pi_\theta(y|x) \;=\; \prod_{t=1}^{|y|} \pi_\theta\big(y_t \,\big|\, x,\, y_{<t}\big) \tag{0.2}

举个数:一句 3 个词的回答,三步分别以 0.2、0.5、0.1 的概率选中了对应的词,整句的生成概率就是 0.2×0.5×0.1=0.010.2 \times 0.5 \times 0.1 = 0.01。

这个连乘结构后面会反复用到——讲 GSPO 时它的”序列级比率”,本质上就是对这里每个词的折算系数取对数再平均。


3. 推导①:策略梯度——往哪个方向走#

3.1 先把符号说清楚#

  • 目标:J(θ)=Eτ∼πθ[R(τ)]J(\theta) = \mathbb{E}_{\tau \sim \pi_\theta}[R(\tau)]。τ=(x,y)\tau = (x, y) 是一条完整回复,R(τ)R(\tau) 是它的总分。LLM 里通常整条回复只打一个分,所以 R(τ)R(\tau) 就是 r(x,y)r(x,y)
  • θ\theta 是模型参数;∇θ\nabla_\theta 表示”对参数求梯度”。训练就是靠这个梯度做梯度上升
  • 一个重要前提:打分器是冻结的(RM 训好就不再动),所以 R(τ)R(\tau) 里不含 θ\theta,对 θ\theta 求导时是常数

3.2 三步推导#

第一步:把期望拆成求和。 期望就是按概率加权的平均,对所有可能的回复 τ\tau 加总:

J(θ)=∑τπθ(τ) R(τ)J(\theta) = \sum_\tau \pi_\theta(\tau)\, R(\tau)

两边对 θ\theta 求导。R(τ)R(\tau) 是常数(刚说过),有限项求和与求导可以交换顺序,所以导数只落在概率 πθ(τ)\pi_\theta(\tau) 上:

∇θJ(θ)=∑τ∇θπθ(τ) R(τ)(0.3)\nabla_\theta J(\theta) = \sum_\tau \nabla_\theta \pi_\theta(\tau)\, R(\tau) \tag{0.3}

第二步:log 技巧——变成”采样能估”的形式。 (0.3) 有个现实问题:它要求遍历所有可能的回复,而回复数量是天文数字,列举不出来,只能采样。要让”采样平均”成为可能,先做一个恒等变形。由链式法则,∇θlog⁡πθ=∇θπθ / πθ\nabla_\theta \log \pi_\theta = \nabla_\theta \pi_\theta \,/\, \pi_\theta,移项得:

∇θπθ(τ)=πθ(τ)⋅∇θlog⁡πθ(τ)\nabla_\theta \pi_\theta(\tau) = \pi_\theta(\tau) \cdot \nabla_\theta \log \pi_\theta(\tau)

代回 (0.3),再注意到"∑π×(⋅)\sum \pi \times (\cdot)"正是期望的定义,又变回期望形式:

∇θJ(θ)=Eτ∼πθ[ ∇θlog⁡πθ(τ)⋅R(τ) ](0.4)\nabla_\theta J(\theta) = \mathbb{E}_{\tau \sim \pi_\theta}\Big[\, \nabla_\theta \log \pi_\theta(\tau) \cdot R(\tau) \,\Big] \tag{0.4}

现在是”某个量的期望”,而期望可以用采样平均估计:采 NN 条回复,每条算一次 ∇θlog⁡πθ(τ)⋅R(τ)\nabla_\theta \log \pi_\theta(\tau) \cdot R(\tau),取平均。这就是能落地计算的形式。

第三步:把轨迹概率拆开。 一条回复的生成概率(式 0.2)是逐词连乘,再乘上 prompt 出现的概率 p(x)p(x):πθ(τ)=p(x)⋅∏tπθ(yt∣x,y<t)\pi_\theta(\tau) = p(x) \cdot \prod_t \pi_\theta(y_t|x, y_{<t})。取对数,连乘变连加:

log⁡πθ(τ)=log⁡p(x)+∑t=1∣y∣log⁡πθ(yt∣x,y<t)\log \pi_\theta(\tau) = \log p(x) + \sum_{t=1}^{|y|} \log \pi_\theta(y_t|x, y_{<t})

prompt 是数据集给的,跟模型参数无关,∇θlog⁡p(x)=0\nabla_\theta \log p(x) = 0。所以 (0.4) 里的梯度只剩逐词的项:

∇θJ(θ)=E[ ∑t=1∣y∣∇θlog⁡πθ(yt∣x,y<t)⋅R ](0.5)\nabla_\theta J(\theta) = \mathbb{E}\Big[\, \sum_{t=1}^{|y|} \nabla_\theta \log \pi_\theta(y_t|x, y_{<t}) \cdot R \,\Big] \tag{0.5}

3.3 因果修剪:过去的奖励可以扔掉#

先看一个具体的”功劳分配”问题。假设模型生成 3 个词的回答 A、B、C,并且(先假设)每一步都有即时奖励:第 1 步选了 A 拿 2 分,第 2 步选了 B 拿 3 分,第 3 步选了 C 拿 5 分,总分 10。

按式 (0.5),A、B、C 三个词的梯度全都乘总分 10。但逐个检查”该乘多少”,会发现配额不对:

词它的选择能影响什么该乘的分数
A影响后面的一切10(2+3+5)✓
B影响第 2 步及之后8(3+5),多算了 2
C只影响第 3 步5,多算了 5

原因就是时间上的因果:轮到选 C 时,前两步的 2+3=5 分已经定死了——C 选什么词都改变不了它们。把不属于 C 的分数算到 C 头上,是错误归因。

为什么多算的部分可以放心扔掉? 看选 C 那一步:给定前缀(A、B 已生成),过去的奖励 r₁+r₂ = 5 是一个定值。而下一节的引理会说:任何”不偷看当前动作”的定值,乘上当前动作的 ∇θlog⁡\nabla_\theta \log,期望为零。过去的奖励恰好就是这种定值——跟 C 选什么无关。写成公式:

E[ ∇θlog⁡πθ(yt∣⋅)⋅(r1+⋯+rt−1) ]=0(0.6)\mathbb{E}\big[\, \nabla_\theta \log \pi_\theta(y_t|\cdot) \cdot (r_1 + \cdots + r_{t-1}) \,\big] = 0 \tag{0.6}

所以多乘的部分在期望上贡献为零:留着不改变梯度的期望,只让每次估计上下乱跳(这次采到的回复过去奖励大,下次小)——纯噪声。删掉,期望不变,波动变小。每个词只对”它之后发生的事”负责:

∇θJ(θ)=E[ ∑t=1∣y∣∇θlog⁡πθ(yt∣⋅)⋅R^t ],R^t=rt+rt+1+⋯+r∣y∣(0.7)\nabla_\theta J(\theta) = \mathbb{E}\Big[\, \sum_{t=1}^{|y|} \nabla_\theta \log \pi_\theta(y_t|\cdot) \cdot \hat{R}_t \,\Big], \qquad \hat{R}_t = r_t + r_{t+1} + \cdots + r_{|y|} \tag{0.7}

R^t\hat{R}_t 叫 reward-to-go,“从现在往后还能拿到的分”。上面例子里:A 乘 10、B 乘 8、C 乘 5。

式 (0.7) 就是 REINFORCE 算法:采样一批回复,对每个 token 沿”提高它生成概率”的方向走一步,步长正比于它身后的总奖励。

LLM 场景的一个特例:实际 RLHF 里通常整条回复只打一个总分——只有最后一个 token 有分(r1=⋯=r∣y∣−1=0r_1 = \cdots = r_{|y|-1} = 0,r∣y∣=Rr_{|y|} = R)。这时每个词的 R^t\hat{R}_t 都等于总分 RR,修剪看起来”没起作用”。它真正生效的场合是每步都有奖励的时候——讲 PPO 时会看到,KL 惩罚会被折进每一步的 reward,那时各词的配额才会真正不同。

一句话理解式 (0.7):∇θlog⁡πθ(yt∣⋅)\nabla_\theta \log \pi_\theta(y_t|\cdot) 是”把 yty_t 的概率推高”的方向;乘上 R^t\hat{R}_t 之后——好事迹的 token 被推高,坏事迹的(R^t\hat{R}_t 为负时)被压低。

但它有个大问题,下一节用数字看。


4. 推导②:baseline——为什么能减一个数#

4.1 先看数字:全是正分就是坑#

设某个前缀下有三个候选词,当前概率和真实”好坏分”为:

token概率 π\pi好坏分 rr
a0.710
b0.28
c0.16

这个前缀下的期望分 V=0.7×10+0.2×8+0.1×6=9.2V = 0.7 \times 10 + 0.2 \times 8 + 0.1 \times 6 = 9.2。

没有 baseline 的 REINFORCE(单样本):采到谁就推高谁。分数全是正的,所以哪怕采到最差的 c(6 分),梯度也在推高 c——方向完全错了。期望上没错(好的被推得更高),但单样本的方向噪声极大,收敛慢。

减去 baseline V=9.2V = 9.2 之后:每个单样本的梯度方向都对了——

采到优势 r−Vr - V单样本梯度的方向
a(10 分)+0.8+0.8推高 a ✓
b(8 分)−1.2-1.2压低 b ✓(低于期望就该压)
c(6 分)−3.2-3.2压低 c ✓

每一步都朝正确方向走,方差骤降。这就是”优势”的含义:不是”绝对好不好”,而是”比期望好不好”。

4.2 三行证明:减一个数不会带偏梯度#

凭空减一个数,会不会把梯度算歪?不会,只要这个数不依赖当前选的词。

引理:对任何不依赖 yty_t 的函数 b(x,y<t)b(x, y_{<t})——它可以使用前缀的任何信息,唯独不能偷看 yty_t 本身——都有

\mathbb{E}_{y_t \sim \pi_\theta}\big[\, b \cdot \nabla_\theta \log \pi_\theta(y_t|x, y_{<t}) \,\big] = 0 \tag{0.8}

证明只有三行,每一行都有明确的理由:

b⋅∑ytπθ(yt∣⋅) ∇θlog⁡πθ(yt∣⋅)  =  b⋅∑yt∇θπθ(yt∣⋅)  =  b⋅∇θ∑ytπθ(yt∣⋅)⏟= 1  =  0b \cdot \sum_{y_t} \pi_\theta(y_t|\cdot)\, \nabla_\theta \log \pi_\theta(y_t|\cdot) \;=\; b \cdot \sum_{y_t} \nabla_\theta \pi_\theta(y_t|\cdot) \;=\; b \cdot \nabla_\theta \underbrace{\sum_{y_t} \pi_\theta(y_t|\cdot)}_{=\,1} \;=\; 0
  • 第一行:bb 不依赖 yty_t,对 yty_t 求和时它是常数,可以提到求和号外面;再用 3.2 节的恒等式把 π⋅∇log⁡\pi \cdot \nabla \log 变回 ∇π\nabla \pi
  • 第二行:有限项求和与求导可以交换
  • 第三行:词表里所有词的概率加起来恒等于 1(概率分布的性质),而 1 的梯度是 0

(顺带一提:3.3 节的式 (0.6) 用的正是这条引理——给定前缀后,过去的奖励已经是定值,当然”不依赖 yty_t“,乘上 ∇log⁡\nabla \log 的期望为零。)

由引理,减去任何不偷看 yty_t 的 bb 都不改变梯度的期望,只降低方差。数学上还可以证明:让方差最小的 bb,是下面这个”平均分”。到这里需要给两个量正式起名字:

  • V(x,y<t)V(x, y_{<t}):还没选词时的平均分——“看到前缀、还没落笔,各种选法平均能拿多少分”
  • Q(x,yt)Q(x, y_t):选定了某个词之后的平均分——“这一步选了 yty_t,往后平均能拿多少分”

两者只差一件事:看没看到这一步选了什么。选 VV 当 baseline,就得到优势函数:

A(x,yt)  =  Q(x,yt)−V(x,y<t)  =  这一步比期望好多少(0.9)A(x, y_t) \;=\; Q(x, y_t) - V(x, y_{<t}) \;=\; \text{这一步比期望好多少} \tag{0.9}

回头看 4.1 的数字例子,其实就是这两个量的具体化:表格里”好坏分”一列(选 a 拿 10、选 b 拿 8、选 c 拿 6)扮演的正是 QQ 的角色,期望分 9.2 正是 VV。于是选 a 的优势是 10−9.2=+0.810 - 9.2 = +0.8,选 c 的优势是 6−9.2=−3.26 - 9.2 = -3.2。

Q 不需要单独估,它可以从 V 拼出来。 想想”选了 yty_t 之后”发生了什么:拿到这一步的即时奖励 rtr_t;前缀变成新的 (x,y≤t)(x, y_{\le t})——又回到了”还没选下一个词”的局面,而那个局面的平均分还是 VV。所以:

Q(x,yt)  =  rt+V(x,y≤t)(0.10)Q(x, y_t) \;=\; r_t + V(x, y_{\le t}) \tag{0.10}

(折扣因子 γ\gamma 的意思是”未来的分打个折”,这里先不引入,不影响任何结论。)

也就是说:真正需要估的量只有 V 一个。有了 V 和每步的即时奖励,Q 按上式随手拼出来,优势也随之有了:

A(x,yt)  =  rt+V(新前缀)−V(旧前缀)A(x, y_t) \;=\; r_t + V(\text{新前缀}) - V(\text{旧前缀})

4.1 的例子是”选完就结算”的一步特例——没有”之后”,所以 Q 直接就是好坏分本身;真实的多步生成里,Q 要靠式 (0.10) 从 V 递推。

4.3 价值 V 从哪来——三个算法从这里分岔#

到这一步,Q 有了着落(上一节末尾:从 V 拼出来),整个问题只剩一个:V(x,y<t)V(x, y_{<t}) 怎么得到? 不同的答案,直接对应不同的算法:

  • 学一个网络来估:单独训一个模型,输入前缀,输出 VV 的估计值。这个专门估 VV 的网络叫 Critic(也叫价值模型),规模通常和策略模型一样大——又准又贵。PPO 走这条路
  • 用同一道题的多次回答来估:同一个 prompt 让模型答 GG 次,组内的平均分就是现成的基准——糙,但一分钱不花。GRPO 走这条路
  • 干脆不做 RL:连 VV 都不要,把整个问题换一种形式直接算。DPO 走这条路

5. 推导③:重要性采样——旧数据怎么接着用#

5.1 问题:数据用一次就过期#

REINFORCE 是 on-policy(同策略)的:数据必须由当前参数的模型采出来。参数一更新,旧数据就过期了——旧模型采的样本,和新模型的分布对不上。于是采一批、用一次、扔掉,采样时间成了训练的大头。

5.2 恒等式:乘一除一的把戏#

重要性采样回答的问题是:能不能用从分布 qq 采的样本,去估分布 pp 下的期望?可以:

Ez∼p[f(z)]  =  Ez∼q[ p(z)q(z)⋅f(z) ](0.11)\mathbb{E}_{z \sim p}[f(z)] \;=\; \mathbb{E}_{z \sim q}\Big[\, \frac{p(z)}{q(z)} \cdot f(z) \,\Big] \tag{0.11}

证明只用了一个”乘一除一”:p(z)=q(z)⋅p(z)q(z)p(z) = q(z) \cdot \frac{p(z)}{q(z)}(乘了 qq 再除以 qq,值不变),代进左边的积分:

∫p(z)f(z) dz  =  ∫q(z)⋅p(z)q(z)⋅f(z) dz\int p(z) f(z)\, dz \;=\; \int q(z) \cdot \frac{p(z)}{q(z)} \cdot f(z)\, dz

右边恰好是”对 qq 取期望”的定义。■\blacksquare

比值 p(z)q(z)\frac{p(z)}{q(z)} 是折算系数:一个从 qq 采来的样本,乘上它,就能当成 pp 的样本用。

放进 LLM 场景:采样阶段用 πold\pi_{\mathrm{old}} 生成回答,训练中小批量更新几轮后参数变成 πθ\pi_\theta。每个 token 位置上的折算系数是

wt(θ)  =  πθ(yt∣x,y<t)πold(yt∣x,y<t)(0.12)w_t(\theta) \;=\; \frac{\pi_\theta(y_t|x, y_{<t})}{\pi_{\mathrm{old}}(y_t|x, y_{<t})} \tag{0.12}
  • wt>1w_t > 1:新参数比旧参数更愿意生成这个词
  • wt<1w_t < 1:新参数在降低这个词的概率

这就是 PPO / GRPO 目标函数里那个 ratio 的来历。

5.3 两个坑:有的没法折算,单个样本折算不准#

注意点一:旧模型从不生成的东西,没法折算。 如果 q(z)=0q(z) = 0(旧策略几乎不会生成某个词)而 p(z)>0p(z) > 0(新策略想生成它),折算系数 p/qp/q 会爆炸。折算只对”两边都愿意生成”的样本有意义。

注意点二:单个样本的折算不可靠。 式 (0.11) 在期望意义下成立,但 pp 和 qq 差得越远,折算系数的波动越大,需要很多样本平均才能估准。反过来说:一个位置只有一个样本时,wtw_t 更像噪声,起不到修正作用。这一点不是小事——GSPO 论文对 GRPO 的核心批评正是:GRPO 的折算系数按 token 逐个计算,每个位置只有单一样本,数学上根本完成不了分布修正。

由此还引出一个更基本的问题:折算系数按每个 token 算,还是按整条回答算?PPO 和 GRPO 按每个 token 算;GSPO 按整条回答算——对式 (0.2) 的连乘取对数再平均。这个差别的后果,讲 GSPO 时展开。


6. 一张决策树看全四个算法#

四算法决策树
四算法决策树

PPO(2017,OpenAI)——老实做 RL 的全家桶。四个模型(策略 / 参考 / 奖励 / 价值),GAE(Generalized Advantage Estimation,广义优势估计)算优势,token 级 ratio + clip。它是后面所有算法拿来比较的基准。死因:太贵——四模型前向、两个要反向;且价值模型在稀疏奖励的长序列上难训准。

于是两拨人朝两个不同方向动刀:

DPO(2023,斯坦福)——干脆不做 RL。对式 (0.1) 直接求出最优解,把”奖励”反解成”策略与参考模型的概率比”,两步并一步变成偏好对上的二分类损失。只要两个模型。死因:只能吃离线偏好对,无法在线探索,复杂推理任务上上限受限。

GRPO(2024,DeepSeek)——保留 RL 框架,只砍价值模型。同一 prompt 采样一组回复,组内平均分当 VV(4.3 节的第二条路),优势直接用组内相对分。DeepSeek-R1 用它配上规则奖励训出了推理能力。死因:token 级 ratio 抖动——注意点二的问题被 MoE(Mixture of Experts,混合专家)模型的路由随机性放大,长回复训练会崩溃。

GSPO(2025,阿里千问)——把优化粒度从 token 抬到整条序列:序列级 ratio(几何平均 + 长度归一化)+ 序列级裁剪。Qwen3 系列同款,稳训 MoE,不需要任何额外补救技巧。

注意:DPO 和 GRPO 是 PPO 的两个不同方向的分支——一个换掉问题形式(不做 RL),一个换掉估计器(不要价值模型)——不是线性进化的四兄弟。

把四个算法放到一张表里,全部差异其实只有三个问题:

问题PPODPOGRPOGSPO
优势怎么估学一个 Critic 网络(GAE)不估,闭式解绕开同题多条回复取组内均值同 GRPO
概率比按什么粒度算token 级不需要token 级序列级(几何平均)
约束怎么加KL 折进 reward + clipβ 直接进损失(隐式 KL)KL 进损失 + clip序列级 clip

7. 小结#

到这儿,手上的东西齐了:

  • 一个方程:max⁡πE[r]−β⋅DKL(π∥πref)\max_\pi \mathbb{E}[r] - \beta \cdot D_{\mathrm{KL}}(\pi \| \pi_{\mathrm{ref}}),后面四个算法优化的都是它
  • 三件工具:
    • 策略梯度 (0.7):沿”提高好 token 概率”的方向走
    • 优势函数 (0.9):衡量的不是绝对好坏,是相对期望的好坏
    • 重要性采样 (0.11):旧数据乘上折算系数继续用,但单个样本的折算不可靠
  • 一张决策树:四个算法怎么从同一个方程里分出来,各自又死在哪

附录:符号表(全系列统一)#

符号含义
xxprompt
yy, yty_t完整回复 / 第 tt 个 token;y<ty_{<t} 表示第 tt 步之前已生成的词
τ=(x,y)\tau = (x, y)轨迹:一次完整回复
πθ\pi_\theta策略模型(被训练的 LLM)
πref\pi_{\mathrm{ref}}参考模型(冻结的 SFT)
πold\pi_{\mathrm{old}}采样时的旧策略(ratio 的分母)
r(x,y)r(x,y)奖励(RM 打分或规则分)
R(τ)R(\tau)轨迹总分;rtr_t 第 tt 步即时奖励;R^t\hat{R}_t reward-to-go
VV, QQ, AA价值函数 / 动作价值 / 优势函数
wtw_t折算系数(重要性比率 ratio)
β\betaKL 约束强度
ε\varepsilonclip 裁剪范围
GG组大小(GRPO 每个 prompt 采样的回复数)

参考资料#

论文

  1. Ouyang et al., 2022. Training language models to follow instructions with human feedback.(InstructGPT 三阶段流程、RLHF 目标方程出处,对应本篇第 1 节) https://arxiv.org/abs/2203.02155
  2. Williams, 1992. Simple statistical gradient-following algorithms for connectionist reinforcement learning.(REINFORCE 原始论文,对应 3.3 节) Machine Learning, 8<229>–256.
  3. Sutton et al., 2000. Policy gradient methods for reinforcement learning with function approximation.(策略梯度定理,对应 3.2 节) NeurIPS 1999.
  4. Schulman et al., 2017. Proximal policy optimization algorithms.(PPO,第 6 节决策树) https://arxiv.org/abs/1707.06347
  5. Rafailov et al., 2023. Direct preference optimization: Your language model is secretly a reward model.(DPO,第 6 节决策树) https://arxiv.org/abs/2305.18290
  6. Shao et al., 2024. DeepSeekMath: Pushing the limits of mathematical reasoning in open language models.(GRPO 首次提出处,第 6 节决策树) https://arxiv.org/abs/2402.03300
  7. DeepSeek-AI, 2025. DeepSeek-R1: Incentivizing reasoning capability in LLMs via reinforcement learning.(规则奖励与 GRPO 的实际应用,第 6 节) https://arxiv.org/abs/2501.12948
  8. Zheng et al., 2025. Group sequence policy optimization.(GSPO,Qwen 团队;5.3 节”单样本折算不可靠”的完整论证见其第 3 节) https://arxiv.org/abs/2507.18071

网络文章

系列目录:《一个方程的四种解法》—— 篇 0 总览 / 篇 1 PPO / 篇 2 DPO / 篇 3 GRPO / 篇 4 GSPO

支持与分享

如果这篇文章对你有帮助,欢迎分享给更多人或打赏支持!

打赏
一个方程的四种解法:PPO / DPO / GRPO / GSPO
https://acoolfish.site/posts/rl-series-00/
作者
ACoolBlog
发布于
2026-11-15
许可协议
CC BY-NC-SA 4.0
Profile Image of the Author
ACoolBlog
在读研究生 · 多模态视频理解 | 记录 Agent、强化学习与 LLM 推理的学习笔记
公告
欢迎来到我的博客!这是一则示例公告。
分类
标签
最新动态
站点统计
文章
6
分类
4
标签
21
总字数
17,027
运行时长
0 天
最后活动
0 天前
文章目录