导言
Engram 把反复出现的局部 token 模式存成可学习的查找表。表很大，但每次只读取少量行，而且地址可以提前计算。这让模型有机会把表放到主机内存，为 GPU 上的模型权重和 KV 缓存腾出空间。
本文逐段翻译 SemiAnalysis 提供的架构解释与卸载实验，保留原文图表。核心问题是：节省 HBM 容量，什么时候能转化为更好的推理服务性能和成本？
导言
Engram 把反复出现的局部 token 模式存成可学习的查找表。表很大，但每次只读取少量行，而且地址可以提前计算。这让模型有机会把表放到主机内存，为 GPU 上的模型权重和 KV 缓存腾出空间。
本文逐段翻译 SemiAnalysis 提供的架构解释与卸载实验，保留原文图表。核心问题是：节省 HBM 容量，什么时候能转化为更好的推理服务性能和成本？