谷歌开源多模态Agent记忆架构:三类记忆分层存储与读写分离的工程实践
多模态Agent最常见的尴尬,是用户五分钟前说过的话它还记得,隔天再来就彻底失忆。为了解决健忘问题,很多团队会把订单、日程、聊天偏好统统倒进同一个向量数据库,看似省事,实则埋下隐患。谷歌云工程师公开了一套面向生产环境的多模态Agent记忆架构专题课程,并开源了配套示范项目FashionMind。这套参考架构没有堆砌复杂算法,而是从数据性质出发,重新划定了Agent记忆的存储边界与读写路径。
会话即内存:断线即失忆的根源
大模型的会话上下文很像电脑里的内存:对话进行中,你说过的话模型都能直接调用,响应自然流畅;一旦对话结束,这块内存立刻释放,用户下次进入系统,面对的仍是一个完全不认识自己的助手。记忆工程的关键从来不是存下所有信息,而是决定哪些内容值得跨会话留下来。这个判断标准,决定了后续整套存储架构的走向。
向量检索的天生短板:查不准事实
谈到长期记忆,许多开发者的第一反应是上向量数据库:把聊天文本、购买清单、日程记录全部切片算成向量写入。但向量检索的强项是找意思相近的内容,并不擅长核对一条确切的记录。当用户问“我周四买过那件外套吗”,向量库返回的是相似描述最多的片段,很容易把心愿单里的同类衣服或上月讨论过的款式拿来充数。凡是需要精确命中某条记录的问题,相似度匹配都会变成隐患。
Agent记忆的成败,不在模型多聪明、向量库多大,而在每一条数据是否存对了地方、走对了路径
“行业观察”积墨 AI 智能体开发平台
快速搭建具备商业价值的 AI 智能体,支持复杂工作流编排、50+ 主流模型接入与私有化部署。
三类记忆分库而治:SQL、向量与结论
从多年产业实践经验来看,谷歌这套分层设计的核心价值,在于给出了可操作的存储分界线。第一类是带编号、时间戳、状态变更和增删改需求的结构化事实,比如“周四晚七点有客户聚餐”“已购蓝色夹克”,直接存入PostgreSQL等关系数据库,Agent通过工具执行事务更新,读取时做精确条件过滤,不靠模糊检索碰运气。第二类是没有固定表头的动态偏好,如“用户怕热”“偏爱极简风格”,需要多轮对话才能看清轮廓,适合交给pgvector或托管的Memory Bank,并用预设的提取主题约束总结范围。第三类是音视频原始流,它本身不是记忆,真正要存的是从画面和声音里提炼出的结论,比如“她又戴了那顶黑色帽子”;原始流是否留底,属于审计与微调层面的独立决策。这套设计不绑定任何云厂商,核心逻辑就是把规律性理解从精确事实里剥离出来。
读写分离:快慢双轨保住语音流畅
存储边界划清后,运行时的读写路径同样不能一刀切。读取侧,新会话启动时后端并行发起两次读取:一边从关系库捞取日程与心愿单,一边向语义记忆检索风格偏好,让Agent开口第一秒就同时握住确定性事实与概括性理解,用户无需重新交代尺寸、预算和喜恶。写入侧拆成快慢两条轨道:用户发出“把西装加入心愿单”这类清晰指令时,Agent必须在当前回合立刻调用工具写库并确认;而“我觉得黄色挺好看”这类随口偏好,则交给后台异步提炼,避免立刻覆盖长期画像。延迟代价在语音场景尤其致命:语音输出约每分钟150词,插入一轮等待模型响应的工具往返就会烧掉2个语音轮次,带来6到16秒的冷场。FashionMind源码通过ADK的回调机制挂载后台协程,由轻量模型在热路径之外静默提炼会话写回Memory Bank,保证语音流始终顺畅。对照开源仓库,团队还做了三处务实取舍:删掉推荐工具改用正则匹配商品名以免去调用往返、宁可晚几秒开麦也要等记忆读完、会话状态暂放本地内存以避开远程追加记录的延迟与断连风险。
回看这套开源架构,它没有用多复杂的算法,核心就是把不同性质的数据拆开:确定状态的日程订单走SQL,模糊的长期偏好走异步大模型总结,原始音视频提取结论后不进在线记忆库。下次从零搭建带记忆的语音或视觉应用时,不妨先照着这条分界线画清存储架构图,再动手写第一行代码。
