AIV MoE All-to-All

导言

MoE 的 All-to-All 不是一次整齐的等长集合通信,而是由路由结果决定长度的 pack、跨 rank 搬运、完成通知、expert 计算、反向搬运与 combine。固定源码表明:TileXR 主仓已经预留 sendCountMatrix、UDMA flag 与设备指针,却没有落地可追踪的 MoE dispatch/combine kernel;真正实现分别位于它固定的 SHMEM fork 和 cann/shmem。本文只描述源码能证明的部分,所有缺少完整实验条件的性能数字均标为未公开或不可归因。

Read more