直播数字人Agent训练新范式：让模型随业务规则同步进化

直播电商场景中，数字人主播需要在极短时间内理解观众弹幕意图，调用业务工具获取商品信息，并生成符合SOP规则的可公开口播回复。这对算法的准确性和响应速度都提出了严苛要求。然而，业务策略、合规要求和商家规则处于持续迭代中，传统监督微调会在单一配置上过拟合模型，导致业务系统每次规则变更都需要重新训练，既增加成本又延长迭代周期。与此同时，通用大模型虽然泛化能力强，但其延迟难以满足直播场景的实时性需求。如何在轻量模型上同时实现低延迟响应与业务规则自适应，成为行业亟待突破的核心难题。

业务迭代与模型固定之间的张力

直播数字人Agent的执行环境由Skills、Hooks、System Prompt Pipeline和Tools四个模块组成，这些组件共同构成了可迭代的Harness系统。Harness Evolution允许在不更新模型权重的情况下通过修改配置改善Agent表现，但这一机制也暴露了一个关键问题：当模型通过固定单一Harness配置进行监督微调时，会产生表层过拟合——记住特定Skill名称而非理解其语义，根据熟悉的Schema选择工具而非读取描述，只在特定Prompt格式下遵守规则。这种过拟合导致模型面对演进后的Harness时泛化能力急剧下降，无法跟随业务系统同步进化。

Harness状态增强的核心思路

Harness-Aware Training的核心假设是：当训练数据只包含固定Harness时，模型会通过字符串匹配而非语义理解来走捷径。HSA方法沿五个维度对Harness进行扰动，每个维度针对性解决一种特定的表层依赖，使模型无法通过背Pattern的方式完成任务。这种训练方式让模型学会读懂当前Harness配置而非记忆某一版本，从而具备理解动态运行环境的能力。从工程实践来看，Harness Evolution本身具有非单调性——更多规则不一定带来更好效果，长尾场景的修复容易引发跨类别回归，因此设定合理的早停规则至关重要。

三阶段训练实现业务自适应

从多年产业实践经验来看，完整的HAT训练Pipeline包含三个阶段，各阶段解决不同的能力缺口。第一阶段HSA-SFT从真实直播间交互数据出发构造训练样本，通过Harness状态增强后的强模型生成候选轨迹并经过质量过滤，使学生模型在多种Harness变体下学习相同任务语义。第二阶段General OPD在通用指令数据上进行On-Policy Distillation，恢复领域训练中损失的通用能力——关键发现是HSA-SFT本身已保留更多通用能力，OPD主要修复残余损失而非大量恢复。第三阶段HSA-RL在仿真环境中通过强化学习继续优化策略，集成多维奖励信号并对工具调用和回复的思维链分别进行长度抑制，既保证业务指标持续提升，又避免输出过长导致的延迟问题。

部署验证与工程最佳实践

实验结果表明，基于Qwen3.6-35B-A3B训练的HAT模型在直播问答任务上达到94.8分，超越千亿参数级通用大模型，同时在Harness变化场景下保持94.6分的鲁棒性，端到端延迟仅为P50 3.407秒。在强化学习阶段采用MTP嫁接训练后，投机解码接受率达到78%，解码速度提升至271 tokens/s，相比基线模型提速显著。评测体系的构建同样关键，评测Judge本身也采用Harness自进化迭代，经过6轮迭代后与人工标注的一致率从81.54%提升至90.46%。从实际落地来看，固定环境微调容易产生过拟合导致泛化变差，HSA与OPD组合使用能兼顾任务性能和泛化能力，而RL阶段必须配合HSA才能防止固定环境下的严重掉泛化问题。

HAT方法通过将Harness状态显式纳入训练分布，使轻量模型能够理解动态执行环境而非过拟合单一配置。该方案已验证可在不更新模型权重的情况下通过Harness Evolution快速调整业务行为，实现了业务快速迭代与低延迟响应的平衡，为数字人Agent的工程化落地提供了可复用的训练范式。