DualPath KV Loading

导言

Agentic LLM 的每轮新增输入很短,累计上下文却很长。高 KV Cache 命中率把重复计算变成了外部存储读取,但传统 P/D 分离系统只让 Prefill 节点承担读取,结果往往不是 GPU 算力不足,而是 Prefill 侧 Storage NIC 先堵住。DualPath 的核心不是压缩 KV,也不是换一种 Attention,而是把 Decode 侧闲置的存储入口和计算网络一起纳入 KV 加载路径,再用 QoS 与两级调度防止新路径干扰推理。本文进一步判断:昇腾 AIV 直驱可以成为其中一段细粒度 RDMA 控制路径的候选优化,但不能直接替代 DualPath 系统。

Read more

Mooncake Store Design

导言

Mooncake Store 的 KV Cache 管理很像 PagedAttention:两者都采用 切块、间接寻址、按块复用与淘汰。但它们解决的不是同一层问题。PagedAttention 管理单个推理实例内的 GPU KV Block;Mooncake Store 管理跨请求、跨实例、跨节点的 DRAM 与 SSD 副本。

理解二者关系的关键,是先区分 页表KV 数据页:页表记录当前请求的逻辑块对应哪个 GPU 物理块,真正跨显存、内存和 SSD 分层迁移的是 K/V 张量数据,而不是页表本身。

但只理解“Master 管元数据、Client 传数据”仍然不够。本文沿 Mooncake 固定版本 bfca1ce2af8419c50dc8d464820a95d97d43c930 追到 store_c.cppreal_client.cppclient_service.cppmaster_service.cpptransfer_task.cpp,解释每个设计判断究竟由哪段代码实现。

Read more

Distributed KV Cache Management

导言

长上下文把 KV cache 从一块 GPU 临时张量,逐步推成了跨 GPU、CPU、SSD、NIC 和远程内存流动的分布式状态。表面上,近几年的论文分别在做分页、卸载、压缩、P/D 解耦、远程复用或直通访问;从更抽象的角度看,它们其实都在回答同一个问题:如何分布式地管理一批有依赖、可重算、持续增长且必须按时到达的数据?

本文以放置、组织、传输为主轴,把命名、依赖、正确性、调度与故障恢复作为支撑平面,纵向回看 2022—2026 年的演化,横向比较七类设计范式,并推演下一阶段可能出现的三条路径。研究截止日期为 2026-08-24

Read more

Mooncake

导言

Mooncake 是 Moonshot AI 为 Kimi 长上下文服务设计的 KVCache-centric 推理架构。它不再把 KV Cache 视为某张 GPU 上随请求消失的临时副产物,而是把它提升为跨 Prefill、Decode、CPU DRAM、SSD 与高速网络统一调度的系统资源。本文先用直觉解释,再从 P/D 解耦、Mooncake Store 与 Transfer Engine、缓存感知调度、Chunked Pipeline Parallelism 四个机制展开,并明确论文、当前开源代码与教学重构之间的证据边界。

Read more

KV Cache Fundamentals

导言

KV Cache 是自回归大模型推理中最重要的运行时状态之一。它把各层历史 token 已经算出的 Key 和 Value 留在缓存里,使后续步骤只处理新 token,而不必反复计算整个前缀。

这不是免费的加速:模型用持续增长的显存驻留换取更少的重复计算。理解这一交换,才能解释为什么生成会加快、长上下文会吃显存、并发容量可能下降,以及为什么修改提示词中间的 token 会使其后的缓存失效。

Read more

AIV Direct Drive

导言

“AIV 直驱”是昇腾通信优化语境中的常见简称。最稳妥的理解是:让运行在 AIV(Vector Core)上的 Kernel 直接编排和提交通信工作,避免由 Host CPU 或 AICPU 为每一次细粒度传输继续充当中间调度者。它优化的是通信控制路径;真正搬运字节的仍是 HCCS、RoCE、RDMA 或 URMA 等通信机制与硬件。

Read more

Long-Context KV Cache Systems

导言

本文调研 2021—2026 年 SIGCOMM、NSDI、OSDI、SOSP、EuroSys、USENIX ATC、FAST、MLSys、ISCA、HPCA、ICML 和 NeurIPS 中与长序列、大规模 LLM 推理及 KV cache 管理直接相关的工作,重点关注分页、压缩、稀疏选择、复用、分层存储、卸载、Prefill/Decode 解耦、远程传输、GPU Direct Storage、CXL 和网络内计算。

检索截至 2026-08-24。会议归属以官方 proceedings 或会议程序为准;仅有 arXiv 或项目技术报告的工作被单独列出,不能与正式顶会论文混为一谈。

Read more

Modern Matchmaking System

导言

当代成年人并不只是缺少认识异性的渠道,更缺少一种低冒犯、低浪费、可逐步建立信任的了解方式。工作压力压缩了交往时间,陌生人之间又缺乏共同经历;吃饭、看电影和交换兴趣爱好可以判断相处是否舒服,却很难及早暴露城市选择、生育、金钱、父母照护、职业规划和冲突处理等长期问题。

本文不试图发明一套“灵魂伴侣算法”,而是从古代婚姻流程中提取分阶段确认、双向披露、可信中介和体面退出等机制,再用现代关系研究、平等原则与隐私保护重新设计。目标不是替人决定应该爱谁,而是让两个人更早看见:能否共同经营一个长期生活系统。

Read more

WaferLLM Co-Design

导言

WaferLLM 是一篇很适合学习软硬协同设计的系统论文。它没有把晶圆级芯片当作“更大的 GPU”,也没有从某个孤立 Kernel 开始优化;论文先用 PLMR 模型提炼硬件的不可回避约束,再依次重做 LLM 的并行策略、数据布局、KV Cache、GEMM/GEMV 和推理运行时。

本文是系列第一篇,只回答两个问题:WaferLLM 的总体设计链是什么,以及这条链上有哪些值得单独深挖的方向。MeshGEMM 的对齐、循环移位、Interleave、缓冲区生命周期与完整伪代码会放在后续专文中。

Read more

AI Engineering Roadmap

导言

这份六页 PDF 与其说是“学习路线图”,不如说是一套 AI 应用工程判断法:先找到结构化、问答、摘要等能交付价值的任务;承认模型输出有波动;把真实用户反馈变成评测集;最后只在评测证明简单方案不够时,逐步增加检索、工具、工作流、Agent 或微调等复杂度。

本文逐页解释图中的观点,同时区分三件事:页面明确表达了什么、它对工程实践意味着什么、哪些口号不能按字面当成技术事实。原 PDF 没有附数据集、实验方法或参考文献,因此曲线和阶梯只能当作概念图,而不能当成性能证据。

Read more