首 token 延迟降 3.25 倍！混合注意力大模型的「位置无关缓存」终于实现了

随着 RAG（检索增强生成）和 Agent 应用成为大模型服务的主流形态，一条请求的 prompt 往往由数十个独立文本片段拼接而成，长度动辄达到十万 token 甚至更长。在这样的超长上下文场景下，prefill（预填充）阶段的算力开销已成为服务成本与响应延迟的最大瓶颈。业界为此发展出两条主要优化路径：一是「位置无关缓存」（Position-Independent Caching, PIC），让共享片段的 KV 缓存可以在任意位置复用；二是「混合注意力」模型架构，通过线性注意力替换大部分全注意力层来压低算力复杂度。然而，这两条优化路径却长期存在技术冲突，难以协同发挥作用。

概述

位置无关缓存的核心依赖于逐 token 的 KV 缓存原语，通过沿 token 轴直接拼接（splice）和重算少量 token 来恢复跨段上下文（correction）两个基本操作实现。然而，线性注意力层只输出一个经整段压缩后的循环状态，不存在任何逐 token 的中间状态可供操作。这导致现有 PIC 方法在混合注意力模型中只能作用于少数全注意力层，而占模型主体地位的线性层完全无法享受缓存带来的性能红利。长期以来，如何在混合注意力架构上实现位置无关缓存一直是业界未解决的技术难题。

核心挑战：两种优化范式的冲突

针对这一挑战，研究团队提出了 HYPIC 系统，其核心思想是对混合注意力模型中的两类层分别采用针对性的优化策略，再通过系统级并行机制进一步加速冷请求处理。该方案由三个环环相扣的机制组成： 第一，线性层采用「缓存转移算子」的策略。关键发现是，真实末状态的计算不仅需要前序片段的末状态，还需要前序片段的累积转移算子。通过在片段首次处理时缓存 (T_C, S(C|0)) 二元组，复用时按组合律左乘转移算子再相加，即可实现常数时间的状态组合。该方案在 Qwen3.5-35B-A3B 模型上验证，组合后状态与完全重算的差异仅约 6×10⁻⁵，落在浮点数精度噪声范围内。 第二，全注意力层采用「缝合窗口」机制。观察到 KV 拼接后的偏差高度集中在每个复用片段开头几个 token，这与全注意力模型中的 attention sink 现象一致。据此，HYPIC 为每个内部片段开头 w 个 token（默认 w=8）构造缝合窗口：缓存时跳过这几个 token，复用时在完整前缀下重算，从而修复跨段注意力问题。 第三，冷请求通过「段并行」机制加速。对于无法命中缓存的长冷请求，HYPIC 将其切

HYPIC：分而治之的混合架构优化方案

在 8×H20 节点上，研究团队对 4 个生产级混合注意力模型（Ring-mini/flash-linear-2.0、Qwen3.5-35B-A3B/122B-A10B）进行了全面评估，测试场景涵盖 HotpotQA、TriviaQA、MultiNews、GovReport 等公开数据集以及生产环境 RAG trace。 端到端延迟方面，全量预热后 HYPIC 相比传统 Prefix Cache 将 p50 首 token 延迟平均降低 3.25 倍，各模型提升幅度在 2.77× 至 4.05× 之间。任务质量方面，16 个「模型×数据集」测试单元平均仅落后完全重算 1.71 分，Qwen3.5-35B 模型上甚至反超 0.47 分，充分验证了转移算子缓存策略的必要性。 吞吐与并发方面，在生产 RAG trace 上，同等 1 秒 TTFT 服务等级目标下，可持续 QPS 相比 Prefix Cache 提升 1.66 倍（1.49×–1.85×），峰值单卡吞吐提升约 1.3–1.5 倍。 段并行效果方面，纯冷未命中路径上，一条 32k token 请求的首 toke

性能验证：延迟与吞吐的双重突破

HYPIC 的核心贡献在于首次将位置无关缓存技术成功应用于混合注意力大模型。通过识别线性注意力层的数学结构（转移算子与状态组合律），并创造性地引入缝合窗口修复全注意力层的跨段对齐问题，该方案实现了两种主流优化范式的有机融合。这对于当前如火如荼的 RAG 与 Agent 应用开发具有重要的实践价值——开发者在采用高效混合架构的同时，无需在性能优化上做出妥协。 展望未来，分布式位置无关缓存管理与多级缓存分层管理将是值得深入探索的方向。随着大模型服务规模的持续扩大，如何在保证缓存一致性的前提下实现跨节点缓存共享、如何在成本与性能之间取得最优平衡，将成为推动大模型推理效率进一步提升的关键课题。

如有侵权，请联系删除。