System One 模型来了:从客服分流实践看 Jev 高速决策的真实价值
最近,一个名为 Jev 的模型在技术社区引发广泛讨论,各类复现项目层出不穷。它被定义为首个 System One 模型——专门处理那些信息充分、可在极短时间内完成的聚焦判断。回看我们团队在智能客服 Agent 分流模型上的落地实践,发现两者要解决的问题高度相似:在 Agent 链路中,存在大量只需从有限候选中选出一个结果的高频判断,生成能力在这里并非必需。本文结合一线实践与社区复现项目,拆解这类模型的技术逻辑与落地价值。
Jev 的接口设计与社区复现启示
客服 Agent 在回答用户问题前,需要先判断由哪个 Agent 承接:售前、售后、其他问题还是意图不清。这个看似普通的四分类任务实际并不简单——分类标准不是通用语义,而是各 Agent 的能力边界。比如退差价不能见词就判:因商家责任要求退差价属于售后,无商家责任原因的退差价则属于售前。这些强业务属性规则与通用大模型预训练学到的常识并不一致,仅靠调整 prompt 很难完全纠正。
分流模型的迭代经历了三个阶段。第一阶段用通用大模型做 few-shot 分类,开发快但成本高、响应慢,边界 case 收益递减。第二阶段用约两万条数据对 7B 模型做 SFT,模型却容易把训练集中固定标签的关键词记成捷径,泛化不佳。第三阶段把分类改成选择题:为每个标签分配选项字母,训练目标只保留正确答案对应的单个 token,线上仅做一次前向计算,读取候选 logits 取最大值——输出由候选表控制,天然不会返回候选之外的内容。
Agent 链路的成败,不在更大的回答模型里,也不在更长的推理链里,而在每一个高频决策的毫秒与置信度里。
“行业观察”积墨 AI 智能体开发平台
快速搭建具备商业价值的 AI 智能体,支持复杂工作流编排、50+ 主流模型接入与私有化部署。
真正花时间的地方在于训练细节。早期标签直出方案中,标签与字母映射、选项顺序都固定,模型可以依靠固定字母和位置拟合。扩展到 26 个字母并打乱映射与顺序后,同一个业务标签不再绑定固定字母,答案 token 分布趋于均衡,整体准确率从 72% 跃升至 90% 以上。随后通过 std_sigmoid 对候选 logits 做标准化筛选低分差难例,标注回流再训练,badcase 准确率持续提升。最新一轮迭代实现了不同 epoch 间的动态映射,配合两阶段训练,四分类准确率进一步提升约 3 个百分点。这套 7B 模型经受两次大促压测,稳定支撑千级 QPS,平均响应约 55ms。
Jev 提供 Choice、Score、Noul 三种输出类型,核心数值都可以从候选 logits 计算得出:Choice 取概率最大项,Score 对等级加权求和,Noul 返回二元概率。它宣称的「不产生幻觉」指的是输出结构与取值范围受控,而不是语义判断一定正确——社区实验中出现过以 0.998 置信度给出错误答案的案例。社区复现主要有三条路线:冻结生成模型直接读取候选 token logits、在生成模型上训练 NLI 分类 head、以及用编码器接选项打分 head。值得注意的是,响应快和格式稳定并不自动带来新业务上的准确率,有复现项目的零样本结果甚至低于简单的 TF-IDF 分类器。此外,直接对 logits 做 softmax 得到的概率不一定能解释为真实正确率,温度缩放可以改善校准误差,但不能把错误答案变成正确答案。
对客服这类对响应时间、成本和稳定性高度敏感的场景,System One 模型的价值不在于替代负责回答的大模型,而在于承接分流、双工判断、意图识别、转人工判断等回答前后的高频决策。慢模型负责理解复杂诉求与生成答复,快模型负责快速判断「接下来做什么」,低置信度的 case 再交给慢模型或人工——这种快慢分工,可能比换一个更大的回答模型更容易产生实际收益。
