导言
all-to-all 要让每个参与者给其他参与者发送数据，为什么还要分 group？分组可以控制同时争用有限资源的请求，让通信更接近硬件能稳定处理的速度；但它是否能“防止阻塞”，取决于分的是什么，以及阻塞发生在哪一层。本文从四个 rank 的调度例子出发，解释限流、错峰、接收许可和拓扑分层，再区分 NCCL group 的并发推进语义。目标是看懂通信实现的设计动机，并知道怎样验证收益；文中的容量与规模例子均为推导，没有集群性能实测。
导言
all-to-all 要让每个参与者给其他参与者发送数据，为什么还要分 group？分组可以控制同时争用有限资源的请求，让通信更接近硬件能稳定处理的速度；但它是否能“防止阻塞”，取决于分的是什么，以及阻塞发生在哪一层。本文从四个 rank 的调度例子出发，解释限流、错峰、接收许可和拓扑分层，再区分 NCCL group 的并发推进语义。目标是看懂通信实现的设计动机，并知道怎样验证收益；文中的容量与规模例子均为推导，没有集群性能实测。