小米开源目标说话人ASR：参考声音成为语音识别的精准开关

在多人会议或嘈杂环境中，传统自动语音识别技术常常面临两难选择：要么将所有发言者的声音混合转录，导致文本难以阅读；要么先进行复杂的语音分离处理，再逐路识别，既增加系统复杂度，又可能引入错误传播。小米研究团队开源的Xiaomi-CocktailASR-1模型提供了一种全新的解决思路——只需提供目标说话人的一小段参考声音，模型就能像拥有了一把“声音钥匙”般，从混合语音中精准定位并转录对应人物的内容。这一技术路径重新定义了“该听谁”的问题本质，为语音识别在真实场景中的精细化应用开辟了可行方向。

精准定位目标说话人

目标说话人语音识别与常见的降噪、语音分离技术存在本质区别。降噪算法的核心目标是消除空调声、风声、键盘敲击等环境噪声干扰；语音分离技术则致力于将多人混合音频拆分为多路独立的音频流，保留每个人的完整发言。而Xiaomi-CocktailASR-1的定位更为直接——用户仅需指定某一个人，模型便只输出该目标说话人的文字转录内容，无需关注其他任何人的发言，也不需要中间环节的分离结果。这种“按人索取”的设计逻辑，本质上是一种端到端的目标说话人建模方案，它将“识别谁”的决策权完全交给了用户输入的参考声音。

负样本拒识的实用价值

在实际应用中，参考声音所对应的人可能根本不在待识别的音频场景中，此时模型应当保持沉默而非胡乱转录。Xiaomi-CocktailASR-1在负样本拒识测试中展现了较为可靠的表现：当目标说话人不在场时，模型能够以较高概率输出空文本，而非生成虚假内容。这一“不该说时就不说”的能力，对于声控智能家居设备、指定发言人会议记录、特定受访者访谈转录等场景具有直接的应用价值。然而需要清醒认识到，当前模型的拒识率尚未达到百分之百，生产环境中仍需根据业务需求在“误转一句”与“漏掉一句”之间做出权衡取舍。

真实会议数据验证性能边界

在公开的AMI SDM真实多人会议测试集上，Xiaomi-CocktailASR-1取得了21.81%的词错误率（WER）；在AliMeeting远场测试集上，WER为20.63%。作为对比，同等测试条件下通用ASR模型Qwen3-ASR的词错误率分别达到38.18%和39.64%，差距接近一倍。这一数据表明，当任务明确指向“只识别某个人”时，目标说话人建模方案确实比将通用ASR直接应用于多人混合语音更具优势。不过也需注意，在模拟数据集LibriMix 3mix上，该模型WER为12.29%，与previous SOTA的12.23%基本持平，说明该模型并非在所有数据集上均处于领先位置，其核心优势在于将多人、单人及负样本拒识统一到了同一个调用接口中，简化了业务集成逻辑。

本地部署与选型建议

部署Xiaomi-CocktailASR-1首先需要准备PyTorch、音频处理及Hugging Face模型加载环境，通过pip安装相应依赖库后即可加载模型。模型接受16kHz单声道音频作为输入，其他采样率会自动重采样。典型的调用流程是：提供目标说话人的参考音频文件与待识别音频文件，模型会依次处理参考声音、一秒静音间隔、目标语音三段输入，输出目标说话人的转录文本。生产环境中部署时需特别注意：由于使用了trust_remote_code=True参数，模型会执行仓库中的自定义代码，建议在代码审查后固定revision而非始终跟随远程最新版本。对于有批量转录需求的场景，官方提供的批处理脚本支持通过TSV文件批量处理多段音频，模型仅需加载一次即可高效完成批量任务。

如果业务目标是生成包含所有发言人完整内容的会议纪要，那么传统的说话人日志或语音分离方案仍然是更合适的选择；但如果任务聚焦于指定受访者转录、已注册用户的语音唤醒识别，或从多人场景中追踪固定发言者，Xiaomi-CocktailASR-1这类目标说话人ASR模型才能真正对题。需要注意的是，该模型参数量约8B规模，需要GPU环境与bfloat16精度支持，并非轻量级移动端方案。建议先用正负样本各一条验证业务匹配度，再决定是否将其纳入语音处理流水线。