大模型记忆革命：把经验写进参数，而不是塞进上下文

大模型的“记忆”问题，正在成为制约其落地效率的关键瓶颈。当我们谈论让AI记住用户偏好、业务规则或行业经验时，市面上几乎所有方案都遵循同一逻辑：把记忆存成文本，对话时动态塞进上下文。这种做法足够直观，却也在根本上受限于规则僵化、成本递增和经验难以真正沉淀的三角困境。有没有另一种可能——让记忆像知识一样，融入模型的参数本身？本文将深入探讨这一技术路径的核心思路与实践价值。

外挂记忆的三重困境

当前主流的记忆实现方式，本质上都是“文本动态加载”：无论是手动写入的提示词、检索回来的知识库片段，还是Agent维护的用户画像与对话摘要，最终都依赖模型外部的程序决定“这次该读哪几段”。这种做法天然存在三个难以回避的问题：一是记忆内容由预设规则决定，未被规则覆盖的信息对模型而言等于不存在；二是上下文随记忆积累不断膨胀，单次对话成本持续攀升；三是经验以文档形式存在，每次对话都是“临时查阅文件”，而非真正的能力内化。有人尝试过直接用历史数据做后训练（如Temp-LoRA），但128K token的历史处理耗时是原样带全文的20余倍，实用性大打折扣。

跳出外挂思路，记忆能否“长在”模型内部？MemT方案给出了一条可行路径。其核心做法是在主干Transformer的每一层中新增一个原生记忆块，与原有注意力机制并行运作，两路输出相加后送入后续计算。以36B参数模型为例，记忆状态固定为10M规模；288B规模则扩展到336M。这种设计的关键在于：主干权重全程冻结，仅记忆块参与动态更新。记忆块由两部分组成——本地记忆矩阵负责存储具体内容，随对话实时写入；超记忆参数决定“如何写、如何读”，上线后保持固定。通过将记忆表征压缩为固定大小的数值矩阵，系统规避了传统方案中上下文无限膨胀的问题。

记忆内化的架构设计

记忆写入发生在每轮对话结束时。模型会逐token遍历本轮输入输出的完整序列，据此决定三件事：目标存储位置、该位置原内容的擦除比例、新内容的写入权重。例如用户先说“展览定周六”，后续又改口“改周日”，读到“周日”时，系统会自动将“周六”对应的记忆区域擦除。写入过程中还有一个关键设计：整体记忆会按“年龄”统一衰减——越早写入的内容淡化越多。同时，所有数值操作仅往小调整，防止多轮写入后数值膨胀导致系统崩溃。读取时，固定大小的记忆状态与模型权重动态混合推理，读一次的开销恒定，确保长期使用后响应速度不受影响。

从效果验证到范式启示

实验数据显示，参数化记忆在特定任务上展现出明显优势。在SWE-bench Verified基准测试中，融入成功代码轨迹经验后，模型正确率从54.0%提升至61.6%，与将经验直接塞入对话的效果持平。更值得关注的是，记忆容量与性能呈正相关——扩充记忆规模，分数也随之上涨，这意味着记忆本身或许同样符合scaling law。虽然在11项记忆测试中综合得分仍略低于外挂文本（50.6对68.6），但其优势在于：记忆内容不再占用上下文，高频使用的经验越用越便宜；经验之间可能产生“化学反应”，模型有望自行推导出未显式记录的新洞察；此外，对于RSI这类依赖自我训练提升可靠性的场景，将外部知识内化可能是更优路径。

记忆从外挂文本走向参数内化，本质上是从“查资料”向“长能力”的范式跃迁。尽管精度尚有差距，但其成本可控、经验可累积、推理速度稳定的特性，使其在企业级Agent、知识密集型任务等场景中具备广阔的应用潜力。随着记忆块设计的持续优化，这一方向或将成为下一代AI系统的标配能力。