VLA VLM + DiT

导言

自动驾驶 VLA(Vision-Language-Action)模型中,VLM 和 DiT 是两个核心组件。但很多人会有一个常见误解:DiT 是用来生成图片的。实际上,在自动驾驶场景中,DiT 更多是作为动作/轨迹生成器,而非图像生成器

VLM 负责”看懂路况和指令”,DiT 负责”生成一段连续、平滑、多模态的驾驶动作/轨迹”。

Read more