导言
VeRL 基于ray的多进程管理，并结合 推理、训练等多个阶段。其E2E时间组成和如何加速都是待研究的课题。
Train Stages: Pretrain, Mid-Train(CT), SFT, RL
导言
模型训练，为什么需要这么多阶段，每个阶段的独特职责和意义是什么。
RL Algorithms: PPO-RLHF & GRPO-family
导言
- RLHF 利用复杂的反馈回路，结合人工评估和奖励模型来指导人工智能的学习过程。(RLHF = 人类偏好数据 + Reward Model + RL（如 PPO）, 所以RLHF是RL的一种实践方式)
- 尽管DPO相对于PPO-RHLF更直接，但是(Reinforcement Learning from Verifiable Rewards (RLVR))往往效果更好；
- 而RLVR算法在 2025年的GRPO提出后，其变种和应用范围迎来了井喷爆发。
- 本文详细介绍 PPO、GRPO以及DAPO。
[^1]
必看好文[^2]
导言
- 背景问题：传统RL的算法和奖励都要特殊设计，并且不同领域迁移性很差；
- 想法: 能不能系统自己迭代产生适合的RL算法
- 构建一个能够表征广泛强化学习规则的搜索空间，让系统通过多代智能体在复杂环境中的交互经验，元学习（Meta-Learning）出最优的强化学习更新规则。[^1]
导言
快速调研多模态强化学习及其ai infra(verl类似)的下一步方向、技术点和与LLM RL的差异点：
- 说实话有点头大
- 多模态理解模型的主体就是LLM，LLM的RL基本半年后会迁移到多模态理解上，所以我要跟踪LLM RL的文章
- 多模态生成模型的RL偏向DPO为主的另一条路子；
- 多模态还涉及agent、具身智能，RL又有些不同；
- 文章多到看得头大。
导言
自动驾驶 VLA（Vision-Language-Action）模型中，VLM 和 DiT 是两个核心组件。但很多人会有一个常见误解：DiT 是用来生成图片的。实际上，在自动驾驶场景中，DiT 更多是作为动作/轨迹生成器，而非图像生成器。
VLM 负责”看懂路况和指令”，DiT 负责”生成一段连续、平滑、多模态的驾驶动作/轨迹”。
导言
多模态生成模型的推理速度一直受制于diffusion模型的多步去噪，这也限制了RL的迭代速度。为此DMDR解决了这个问题。可以结合DiffusionNFT+DMDR
Ideas around Vision-Language Models (VLMs) / Reasoning Models
导言
当前主流的多模态理解模型一般采用视觉编码器 + 模态对齐 + LLM的算法流程，充分复用已有视觉编码器的理解能力和LLM的基础能力。训练过程一般分为多个阶段，如先进行模态对齐的一阶段预训练，然后进行二阶段的参数微调。
排行榜:
导言
vllm 的ray后端属实奇诡，ray stop有残留，flush打印被吞（虽然输出能标记ip，折叠重复，在master输出），ray集群的环境变量固定不变导致DP无法实现多机。
为此考虑使用torchrun实现多机并行。
写得太好了，由浅入深。
导言
作为卖NPU AI加速卡的软件员工， 目标是将昇腾的底层算力与上层多模态应用需求精准对接，释放昇腾AI算力，让客户看到NPU的性能、性价比、易用性、客户自身业务的使用需求。