DAPO浅析

论文地址 https://arxiv.org/abs/2503.14476

参考实验：DAPO + vLLM v1 + VeRL —— VOC性能比较

Motivation

没有完整的GRPO训练R1-32B的框架

目标：

• 降低错误样本的长度 (token-level loss)
• 训练更加稳定 (overlong filter)
• 避免generation entropy的塌陷（higher clip）
• 提高训练效率（dynamic sample）

Method

整体优化目标如下

\[\mathcal{J} = \mathbb{E}_{(q,a)\sim \mathcal{D}, \{o_i\}_{i=1}^G\sim \pi_{old}(\cdot|q)} [\frac{1}{\sum_{i=1}^G|o_i|}\sum_{i=1}^G\sum_{t=1}^{|o_i|}\min(r_{i,t}(\theta)A_{i, t}, clip(r_{i,t}(\theta),1-\epsilon_{low}, 1+\epsilon_{high})A_{i,t})]\\
s.t.\ 0<|\{o_i|is\_equivalent(o_i,a)\}|<G
\]

其中

\[r_{i,t}(\theta)=\frac{\pi_{\theta}(o_{i,t}|q,o_{i,<t})}{\pi_{old}(o_{i,t}|q,o_{i,<t})}, A_{i,t} = \frac{R_i-mean(\{R_i\}_{i=1}^G)}{std(\{R_i\}_{i=1}^G)}
\]

这里DAPO剔除了KL散度惩罚项，它认为

在RLHF场景下，RL的目标是在不偏离原是模型分布下对齐人类偏好（即仅学习人类偏好，而不改变模型原有知识能力），因此需要添加KL惩罚项。

然而在训练long-cot的reasoning模型时，其目标是为了提升模型的能力（math、推理、code等）训练前后的模型分布可以是显著不一样的，KL惩罚项可能会限制模型的探索新知识的能力，因此去除。

分为以下四个方面

1. Raise the Ceiling: Clip-Higher

考虑到clip的是一个概率的比值\(\frac{\pi_{\theta}}{\pi_{old}}\)，在\(\pi_{old}\)不同的情况下，会影响clip的范围

例如 \(\pi_{old}=0.1， \pi_{\theta}=0.2\), 此时比值为\(2\)，此时policy会认为模型前后变化过大，而不训练此数据。但这条数据是值得训练的，只是old的概率比较小。

虽然比值是2倍，但其实数值上只多了0.1，因此还是需要被训练的，并没有影响收敛。

同时，实验也验证了上面发现的问题。实验发现GRPO中 被clip掉的token的平均概率的最大值均小于0.2 ，即

\[\max_{step}[\mathbb{E}_{(q,a)\sim \mathcal{D}, \{o_i\}_{i=1}^G\sim \pi_{old}(\cdot|q),t\sim |o_i|}\pi_{\theta}(o_{i,t}|q,o_{i,<t})]<0.2
\]

大量小概率的token被clip掉了，这验证了\(\epsilon_{high}\)阻碍了低概率token 概率的增长。

因此可以提高上限\(\epsilon_{high}\)来提高A>0的低概率token的概率，从而避免entropy变小的过快，输出单一化。

值得注意的现象，提高\(\epsilon_{higher}\)之后：

• RL的avg@32更高的
• 避免了熵塌的现象（因为高的\(\epsilon_{higher}\)鼓励模型探索原先小概率的正向轨迹，提高了多样性）

此外，old模型小概率sample并没有影响原有\(\epsilon_{low}\)

这是因为，\(\epsilon_{low}\)是在A<0的sample起作用，若重要性采样的比值很大，并不会对A<0的token进行裁剪。

2. The More the Merrier: Dynamic Sampling

考虑到如果一个sample的G个rollout的奖励

\(\{R_i\}_{i=1}^G\)都是0或都是1，那么所有的优势A都是0，这并不会更新policy，会导致效率低下

因此使用动态采样的方法，一直采样直到一个sample的G个rollout的R 不全是0 或不全是1.

\[0<|\{o_i|is\_equivalent(o_i,a)\}|<G
\]

上述公示的含义是，对于QA对\((q,a)\)，\(o_i\)和答案\(a\)相同的个数在\((0,G)\)的区间内。

3. Rebalancing Act: Token-Level Policy Gradient Loss

DAPO任务 sample-level的loss（每个rollout的贡献度是一样的），然后不同rollout的长度不一样，过长的样本对模型的影响更大一些：

• 过长的样本会导致模型难以学习推理模式 【置信度低，困惑度高】
• 过长的样本中存在一些不必要的 重复的话【长度增长过快】

因此使用token-level的技术，长度越大的rollout，贡献度越大。

通过grpo sample-level loss得知，grpo并不在意response的长短（不同长度的sample的贡献度均为相同），然而长度越长A越大，因此response的长度会快速的增加。

但是DAPO认为长度越长的sample的贡献度越大，因此过长的sample是对的会重点强化（提高概率），但是错了的话，会重点惩罚，从而减小错的长response的概率，即

\(P(len(o_i)>\delta|A<0)\)下降。

同时，通过实验发现，DAPO的response的平均长度并没有无脑、快速增长。

Hide and Seek: Overlong Reward Shaping

考虑到过长的response会被截断无法得到结果，这会导致奖励极低，

因此采用mask的方式，在训练的时候过滤掉过长response的损失。

实验发现，添加overlong filter之后，训练更加稳定（entropy，acc上），避免了noise。

DAPO进一步提出了soft overlong punishment，其实是基于长度的奖励，就不用进行filter操作了，直接赋予低的R就可以了，有利于降低response的长度。添加了一个cache的缓冲区，从而soft。

\[R(y) = \begin{cases}
0, &|y|\leq L_{max}-L_{cache}\\
-\frac{|y|-(L_{max}-L_{cache})}{L_{cache}}, &L_{max}-L_{cache}<|y|\leq L_{max}\\
-1, &L_{max}<|y|
\end{cases}
\]

代码解析待更新（verl实现dapo部分）