这篇文章只回答一个问题：一条 RL 样本从 prompt 进入系统，到 rollout、reward、logprob、advantage、loss、backward，最后回到下一轮训练时，数据到底怎么流、shape 怎么变、显存为什么涨。

• AI 训练时，有些分布式训练的常见并行概念需要了解。
  • 例如，TP, VP, SP, VPP