从被动响应到主动介入：StreamVibe让视频智能体读懂用户未说出口的需求

Meta的Muse、OpenAI的Dot等产品相继亮相，个人智能体（Personal Agent）再度成为大模型领域的焦点。与只会答问题的传统对话助手不同，这类Agent能结合用户背景、历史记忆与上下文，主动执行任务、推进长期目标。然而，记住用户过去做过什么，并不等于理解用户此刻需要什么。用户往往不会明确说出每一个需求：做菜时反复查看步骤、操作软件时卡住、任务中途临时改计划，这些细微的行为与环境变化都可能暗示新的协助需求。如何捕捉这些信号并决定何时介入，是Agent走向真实世界的关键。

轨迹评测暴露持续交互真短板

现实交互中，用户意图是持续变化的。「水开了提醒我」和「帮我把这道菜做好」对助手的要求截然不同：前者给出明确触发条件，后者只描述目标，需要助手结合正在发生的事情判断何时介入、提供什么帮助。真实任务还会不断产生新信息——用户可能已完成某一步，刚才有用的建议变成了重复提醒；也可能临时修改要求，使原计划失效。即便保存了完整历史，助手仍需分清哪些要求仍然有效、哪些步骤已经完成、眼前的新情况意味着什么。

研究团队构建了StreamVibe-Bench，同时覆盖现实活动与数字界面任务，按意图的明确程度和变化方式划分三个层次：显式意图由用户指定事件或条件，如「水烧开时告诉我」，覆盖单次事件、状态转变和重复事件；隐式意图只给出总体目标，助手需根据过程推断帮助时机，覆盖指导、学习、监测与工具使用；动态意图则考虑任务中的需求变化，包括修改已有要求、叠加新目标约束以及插入需即时处理的中断。基准共包含4,100个评测样本、20,546个帮助点和183.4小时视频，每个候选帮助点均经四位评审独立核验。

从多年产业实践经验来看，StreamVibe把问题拆成相互配合的两个层面，这一思路对工程落地很有启发。训练层面采用两阶段策略：先做自适应流式监督微调，平衡沉默与回应决策，避免模型一直沉默或过度打扰；再做局部轨迹强化学习，围绕帮助点构造短时因果rollout，通过GRPO联合优化回应时机、内容质量与连续交互的一致性。运行时则由Harness持续维护当前活跃意图、任务进度与已给出的回应，新信息到来后各项要求可独立新增、修订或结束；分层记忆保留近期细节、压缩较早历史，并按当前任务检索相关证据。实验显示，SFT让模型更容易发现帮助机会，RL进一步降低误触发并提高回答质量，而状态管理能显著减少不必要的回应，对动态意图的改善尤为明显。两条路径相互补充：策略学习改善对眼前证据的判断，状态与记忆管理让后续决策始终围绕当前有效的需求展开。

评测结果同样值得深读。在完整轨迹评测中，StreamVibe-VL（RL）在三类意图上的Content F1分别为10.83、19.13和8.91，均高于开源基线；逐点评测下隐式意图Content F1达61.28，动态意图达39.31。能力还迁移到外部主动交互基准：EgoProactive的Macro分数从基座的46.2提升至59.5，IPIBench的Understanding分数从9.8提升至20.4，且通用视频理解能力得到保留。但完整结果也揭示了持续交互的短板：局部判断正确并不意味着全程可靠——更高召回往往伴随更多误触发，覆盖帮助机会与避免打扰之间仍难平衡；自生成历史会放大问题，先前的错误可能影响后续判断造成内容质量下降；视频越长Timing F1越低，用户持续修改要求时后半程召回下降更明显，说明助手必须反复更新哪些意图仍然有效，而不能只把历史原样保留。

Personal Agent要真正实现个性化，不仅需要记住用户过去的信息，还需要在实际交互中不断理解用户当下的需求。未来的Agent应形成「用户—环境—Agent」的持续交互闭环：通过行为与反馈了解需求，通过环境变化判断任务进展，并在交互中不断调整对意图的理解与协助方式。StreamVibe为此提供了有价值的初步探索。