RL checkpoint 比普通 SFT checkpoint 更复杂，因为它不仅要保存模型参数，还要保存 optimizer、scheduler、global step、采样状态，以及在异步模式下可能存在的队列和策略版本状态。

这篇文章作为索引页，专门回答每个特性：怎么开、代码在哪、逻辑是什么、实践效果怎样、为什么默认不开、对 MFU / SMA 有什么作用。

MFU / SMA 低不一定说明 kernel 慢，也可能是 rollout、reward、checkpoint、通信、异步队列或 token 分布造成的等待。性能优化的第一步不是开特性，而是建立 E2E 性能模型。

RL 中的 rollout 不是普通离线推理。它不仅要生成 response，还要和训练阶段共享策略版本、返回 token 级信息，并参与后续 logprob、reward 和 advantage 计算。

因此 vLLM 图模式也不能只写成“开不开 CUDA Graph”。在 verl rollout 里，enforce_eager、compilation_config.cudagraph_mode 和 cudagraph_capture_sizes 共同决定性能、显存、capture 成本和兼容性。

这篇文章聚焦 verl 的训练链路：RayPPOTrainer.fit() 如何组织 rollout、reward、logprob、ref 和 actor update，以及这些阶段如何通过 worker 和 DataProto 串起来。

RL 模型迁移后的精度比对，相较于 SFT 模型迁移的精度比对，难了很多。

经常出现一个难解问题，前20步reward等指标两者差异较小，但是之后就偏移很大。

叠加

• 指标繁琐，但不解决问题：虽然指标多，但都是表象/结果指标，难以说明差异来源。
• 耗时长：RL单步1h+，SFT 20s；慢两个数量级，迭代缓慢。
• 流程更复杂：涉及到推理和权重转换；
• 资源压力大：训推+评测模型权重，RL的显存和机器资源压力更大。

Agentic RL 和 memory 是2026年的发展方向。本文将调研 Agentic RL 在多模态的发展潜力。

• 25年，RL训练崩溃归因于训推不一致；
• 为此提出了很多方法，TIS，Router Replay，FP16训推，batch一致性…
• 如何判断 模型当前训推不一致，并找到不一致实现处，是实践的要点。

推理采样如何重塑概率地图：在普通监督学习（SFT）中，模型是被“喂饭”——你告诉它正确答案是什么，它去模仿。而在强化学习（RL）中，模型是在“试错”——它自己写几个答案，然后根据好坏来调整自己。

DanceGRPO是25年5月发表的论文，把GRPO的方法引入到了生成领域。（类似的有flowGRPO）。字节客户基于此魔改，故学习。