语音大模型如何听懂情绪并回应有性格:共情与人设能力的技术拆解
当用户叹着气说「今天真的好累」,模型要回应得自然,不仅要听懂字面内容,还要捕捉声音里的疲惫,并结合上下文判断对方是在倾诉、寻求安慰,还是希望得到具体帮助。同样一句「我没事」,平静语气和带着哭腔的表达,背后可能是完全不同的交流需求。这正是实时语音大模型面临的真正挑战:语音陪伴的自然感,取决于模型能否把「说了什么」和「怎么说」同时理解到位,再选择恰当的方式回应。
合成与真实语料双轮驱动
传统的「语音转写—文本理解—回复生成」链路能保留文字内容,却会弱化语气、情绪等关键信息,仅凭转写文本难以区分字面相同、诉求不同的表达。更优的方案是同时融合两类信息:一是语义信息,即用户说了什么、话题是什么、与前文有何关联;二是副语言与声学信息,即情绪及其强度、语速、哭腔、叹气等声音线索。值得注意的是,叹气不必然意味着悲伤,语速加快也不一定代表焦虑,模型必须结合音频与上下文综合判断,避免仅凭单一信号推测用户状态。
共情回应的核心,是根据用户当下诉求选择合适的回应方式。为此可以将共情拆解为三类结构化信息:情绪与声学标注,识别主次情绪、强度及相关声学事件,真实数据由多模态模型听取音频完成标注并做高置信筛选;用户意图标注,区分共情交流、对话控制与功能请求,并细分倾诉、求安慰、求建议、分享喜悦等诉求;回应策略表,结合意图、情绪与声学线索,明确回应侧重、可用表达方式与应避免的行为,危机场景下安全要求优先。同一套策略表贯穿数据生成与强化学习评分,保证训练目标与评价标准一致。
语音交互的成败,不在转写文本里,不在声学信号里,而在共情策略与人设表达协同的每一次回应里。
“行业观察”积墨 AI 智能体开发平台
快速搭建具备商业价值的 AI 智能体,支持复杂工作流编排、50+ 主流模型接入与私有化部署。
从多年产业实践经验来看,这类方案的落地关键在于把模糊的「情商」拆成可执行的工程环节。一方面,训练样本在最终回复前包含一段结构化回应规划,组织三类判断:用户呈现了怎样的状态、真正希望得到什么、当前角色应当如何回应。这一设计把情绪理解、意图识别与表达策略串联起来,让模型学会在不同场景下调整侧重——何时先承接情绪,何时提出建议,何时收起玩笑认真回应。为控制推理成本,超过约 250 字的推理内容会被压缩,仅保留关键情绪依据、用户意图、角色口吻与回应边界。另一方面,人设设计采用角色层与共享规则层分层解耦:角色层定义性格、语气与表达习惯,比如机智直率、俏皮傲娇、温暖积极或嘴硬心软的损友风格;共享规则层则统一约束安全边界、语音表达要求与共情原则。这意味着角色可以调整表达方式,却不能改变基本行为要求——用户真正难过时,俏皮角色也要减少调侃,直率角色可以坦诚但不能以人设为借口伤害用户。
数据构建采用合成与真实语料互补的双流水线模式。可控合成数据按照目标情绪与意图分布生成用户画像及单轮、多轮对话,再通过 TTS 合成带有相应表达特征的语音,叹气、哭腔等事件通过标签控制,同一会话保持音色一致,并校验合成文本与原始内容的一致性。真实对话数据则先由文本模型完成意图粗筛,再由多模态模型听取音频精标情绪与声学信息,把宝贵的音频标注资源集中在相关样本上。训练分两阶段推进:第一阶段监督微调(SFT)让模型建立从感知用户状态到选择表达方式的基本路径;第二阶段 GRPO 强化学习针对同一场景生成多条候选回复,由裁判模型依据动态评分表逐条评价,重点检查是否承接情绪与诉求、是否合理利用声音线索、是否避开禁忌行为、是否口语自然、是否在保持人设的同时遵守安全要求。评测结果显示,该模型在共情四项测试集中均取得最高分,人设评测中 Emotion-Cross 得分领先,但 CharacterEval 等基准仍有差距,说明角色表达能力还在持续打磨中。
语音陪伴的自然感,来自模型能否结合声音与上下文理解用户此刻的诉求,再选择合适的回应方式。共情策略决定回应是否合适,人设决定回应以怎样的性格呈现。从标注、数据构建到 SFT 与强化学习,这套闭环方案证明:「接得住情绪」和「回应有性格」,都可以成为可训练、可检验的工程能力。
