• 为什么需要万卡集群
• 万卡集群的使用难点
• 应对方案

当前主流的多模态生成模型（如图像生成text2image和视频生成text2video）主要采用Latent Stable Diffusion的方案框架。为了减少计算量，图像/视频等模态的数据（噪声）先经过VAE压缩得到Latent Vector，然后在文本信息的指导下进行去噪，最后生成符合预期的图像或视频。

排行榜: (T2I, ImageEdit, T2V, I2V, )

• Vbench

• lmarena

• artificialanalysis

• 当前主流的多模态生成模型（如图像生成和视频生成）主要采用Latent Stable Diffusion的方案框架。为了减少计算量，图像/视频等模态的数据（噪声）先经过VAE压缩得到Latent Vector，然后在文本信息的指导下进行去噪，最后生成符合预期的图像或视频。

• 当前主流的多模态理解模型一般采用视觉编码器 + 模态对齐 + LLM的算法流程，充分复用已有视觉编码器的理解能力和LLM的基础能力。训练过程一般分为多个阶段，如先进行模态对齐的一阶段预训练，然后进行二阶段的参数微调。

在回顾数理逻辑的时候，又想起了NP问题，和NP完全的问题

明白设计(数据构造，模型设计, 训练流程)的有效性，是抓住问题核心的关键。有助于在众多的AI论文里筛选出有效结论。

• 一些AI大厂只是通过不断的微调，消融尝试，堆砌最新的trick方法达到SOTA，再提出一些听上去make sense的观点来发论文。但是其观点的可迁移性难以保障。
• 但是一些研究人员专注在AI的有效性，可解释性的探索：虽然难有直接产出，但是对AI技术的未来方向提供了宝贵的信息。（e.g., 研究模型参数和层的有效性，流程的必要性）

通过这些宝贵的信息，才能渐渐知道能被时间检验过的经验是什么。

本文将聚焦于归档 有效性相关的工作。

1. 图片推理多采用各种GUI(ComfyUI, Stable Diffusion WebUI) [^2]
2. 训练基于 kohya-trainer 和 GUI， 带标签的二次元图片数据可以从 danbooru 爬取。
3. 模型和方法实现，如LyCORIS框架？ 从civitai免费下载

和AIGC 生图相关

RL 涉及到 推理，推理的流程细节不是很明晰。

1. warmup，计算kvcache
2. chunked prefill，降低prefill的显存

训练由于要计算并更新梯度，一般是计算密集。但是推理一般是访存密集。

训练由于要计算并更新梯度，一般是计算密集。但是推理一般是访存密集。

本来在多模态组，结果被拉去优化TX的dspv3部署，还是要熟悉相关概念逻辑。