上下文工程的六大支柱之：压缩与编排

在构建高效AI应用的过程中，我们不可避免地面临一个根本性的物理限制：模型的上下文窗口是有限的。即便拥有百万级Token的超级模型，处理长上下文所需的时间、算力和成本同样不容忽视。这便引出了上下文工程的第三大支柱——压缩（Compression）。压缩的核心目标，是在将上下文送入大语言模型之前，通过各种技术手段，在尽可能不损失关键信息的前提下，显著减小其Token数量。这是一门在“信息保真度”和“成本效益”之间寻求最佳平衡的艺术。

压缩的两种哲学：抽取式与抽象式

信息密度的挑战是压缩技术产生的根本原因。从记忆系统中检索出的上下文，往往包含大量冗余和低信息密度内容。例如，一篇完整的技术文档，对于回答一个具体问题来说，可能只有几个段落是真正关键的。将整篇文档塞入上下文，不仅浪费了宝贵的窗口空间，也可能因引入过多噪声而干扰模型的注意力。压缩就是要提升最终送入模型上下文的“信息密度”，确保每一个Token都尽可能为回答问题贡献价值。

Selective Context与LLMLingua技术

上下文压缩主要有两种技术路线。抽象式压缩使用一个大语言模型来重写或总结原始上下文，生成更短的版本，其优点是能生成流畅连贯的文本，但缺点是可能在总结过程中丢失关键细节或引入幻觉。抽取式压缩则不生成新文本，而是从原始上下文中识别并抽取出最重要的部分，然后将它们拼接在一起。这种方法的优点是能最大程度保留原始信息的“原汁原味”，避免二次生成带来的信息失真。近年来，抽取式压缩因其高保真度和可控性，成为研究和应用的热点。

编排：从静态管道到动态决策

在抽取式压缩领域，Selective Context提出了一种巧妙的思路：利用信息论中的“自信息”或“困惑度”来判断一个词或句子的信息量。困惑度越低的句子，意味着它越符合语言模型的“预期”，其包含的意外信息就越少。该方法使用小型语言模型计算每个句子的困惑度，然后根据困惑度从高到低排序，优先保留那些让模型“感到意外”的、信息量大的句子。而LLMLingua则将压缩问题看作一个“指令遵循”问题，其核心理念是用一个更小的、专门负责压缩的LLM来为昂贵的大模型“预处理”上下文。它通过指令感知的重要性分析、粗细粒度压缩和迭代优化，可以在压缩掉高达20倍Prompt长度的同时，仍保持与使用完整上下文相近甚至更好的性能。

然而，一个真正智能的系统，其上下文处理流程不应该是一条僵化的、线性的流水线。这便引出了上下文工程的第四大支柱——编排（Orchestration）。编排的核心目标是根据当前任务的动态需求，智能地、自适应地决定“应该使用哪些上下文”、“从哪里获取它们”以及“如何将它们组合在一起”。实现动态编排主要依赖两大核心机制：路由（Routing）和代理（Agentic）。路由器是一个前置决策模块，通常由轻量级LLM充当，在正式执行任务前对用户请求进行分析和分类，将其路由到最合适的处理路径上。代理式编排则是一种更高级的多步骤动态决策过程，系统不再是被动管道，而是一个主动的Agent，拥有思考、规划和使用工具的能力，会根据任务进展迭代地、自适应地调整其上下文获取策略。

如有侵权，请联系删除。