DeepSeek开源推理框架解密：96%输入缓存命中背后的工程哲学

大模型推理的效率瓶颈，从来不在模型参数本身，而在算力资源的调度与复用。DeepSeek近日开源了其V4.1 Flash生产环境所使用的推理框架DeepInfer，同时发布编解码组件deepseek-recipe。根据其线上集群数据，单日处理规模达155万亿token，平均每次请求输入77K token，其中96%命中缓存无需重算。这意味着绝大多数计算量被精准复用，而非重复消耗——这背后是一套经过大规模生产验证的系统工程方法论。

Prefill与Decode的两阶段分离

大模型推理分为Prefill和Decode两个阶段。Prefill阶段负责读取全部输入，生成初始KV缓存；Decode阶段则基于缓存逐个生成输出token。两个阶段硬件需求迥异：Prefill一次性处理数万个token，瓶颈在计算能力；Decode每次仅生成一个token，瓶颈在显存带宽。基于此，DeepSeek将两阶段部署在不同规格的集群上——Prefill使用标准8卡服务器，Decode则扩展至64至128卡的超节点。实际部署中，两类机器比例接近1:1，最小运行规模为64卡Prefill加64卡Decode。

deepseek-recipe的请求编解码逻辑

deepseek-recipe负责将各类API请求统一转换为模型所需的token格式，同时处理注入防护与并行编码优化。对于特殊结构标记如<｜User｜>，系统将其强制编码为普通文本，防止恶意构造的系统提示劫持。编码阶段，prompt中的多段普通文本可并行分词，显著缩短长上下文的处理延迟。解码阶段，系统暂存被token边界切割的UTF-8字节流，待字符完整后再输出；工具调用参数则采用边生成边返回模式，避免用户等待完整结果。该组件与DeepSeek官方API行为完全对齐，确保自托管部署的接口一致性。

KV缓存的分层存储与动态复用

在Agent场景中，每次工具调用都需携带完整历史上下文，其中大部分内容已在上一轮计算过。DeepSeek将KV缓存持久化至独立存储集群，容量约100 PiB全固态硬盘，基于其此前开源的分布式文件系统3FS实现。缓存以128 token为一块写入，Agent流量保留3天，聊天流量保留7天。独立的存储架构带来两项优势：任意Prefill机器可读取任意缓存片段，请求分配不受用户绑定限制；计算机器故障率比存储高一个数量级，缓存数据安全性更有保障。读取缓存与计算过程异步并行，当前线上平均每次输入77K token的首字延迟控制在400毫秒以内。对于滑动窗口注意力机制，V4.1 Flash采用SWA Bounded Replay策略，仅重算最后128 token并在其内部完成注意力计算，将20层额外窗口的重算成本从2560 token压缩至128 token。

投机解码与负载均衡的协同优化

Decode阶段每步仅生成一个token是核心瓶颈。DeepSeek自研DSpark投机解码机制：由轻量草稿模型连续预测5个token，再由主模型批量验证，正确部分直接采纳。线上实测固定验证5个相比，动态概率估计跳过低置信度猜测后，吞吐提升6%。此外，CPU调度与GPU计算实现时间重叠：GPU执行第N步时，CPU同步准备第N+1步请求。当前单卡Decode每秒生成14K token，单用户生成速度达每秒230 token，代码场景更可达300 token。V4.1 Flash作为MoE模型，384个路由专家分布在64张卡上，每卡存放6个专家加1个热门副本。系统每1000步统计、每10000步重新分配专家负载，线上负载差异控制在9%以内。请求层面，Prefill按输入长度分4档动态调度，Decode同时考虑请求数量与缓存总长度两个维度。

DeepInfer开源版本基于vLLM构建，参考了SGLang与TensorRT-LLM，支持英伟达SM100与华为昇腾950 GPU，提供离线推理能力。Apache 2.0协议下的DeepInfer与MIT协议的deepseek-recipe构成了基础推理能力层，但缓存存储、PD分离部署、多副本负载均衡等与内部基础设施深度耦合的组件暂未开源，企业若要构建完整线上服务仍需针对性工程投入。这套框架的真正价值不在于某一单项技术的突破，而在于将缓存策略、算子调度、资源分配等工程细节打磨至生产级别的系统整合能力。