为多模态大模型装上“空间之耳”：端到端空间音频理解模型的技术突破

在复杂的声学环境中，人类能够本能地判断声源方位、距离乃至运动轨迹，这种能力被称为空间听觉。它让我们在嘈杂的街道上捕捉到远处呼唤自己名字的声音，在拥挤的会场中定位发言者的位置。然而，传统多模态大语言模型在音频理解领域长期存在一个显著短板：它们往往只有“一只耳朵”，能够识别声音的内容，却无法感知声音从何而来、与听者处于怎样的空间关系。这一局限性严重制约了人工智能在真实物理世界中的感知与理解能力。近期，一款专注于空间音频理解的大模型正式开源，以端到端架构重新定义了多模态模型的空间听觉标准，为人机交互、智能终端等领域带来了全新的技术可能性。

空间听觉：多模态模型的最后一块短板

人类双耳接收到声音信号时，会产生细微的相位差与响度差，加之头部和耳廓对声波的反射与衍射作用，共同构成空间定位的物理基础。机器要实现类似能力，却面临多重制约：麦克风数量、布局方式、设备形态等物理条件限制了空间信息的获取；多声道音频格式不统一、声道配置差异大，导致数据难以规模化利用。更为关键的是，现行主流多模态大模型通常将多声道音频在声道维度上简单平均，转换为单声道输入，这种处理方式从根本上丢失了空间信息。因此，相较于识别声音内容，让机器准确感知声源位置、距离和运动状态，是一项更具挑战性的任务。近年来，大语言模型在语音、图像等多模态领域取得显著进展，空间智能也成为人工智能发展的重要方向。然而，现有主流多模态大模型的空间听觉能力普遍缺失，这一空白亟需技术突破来填补。

针对空间音频理解的技术难题，研发团队采用了双分支音频编码器架构。语义分支完整继承原有音频理解模型的语义编码器骨干网络，负责提取声音的语义信息和内容理解能力；空间分支则采用轻量化的独立编码器，专门负责提取空间信息。两条分支通过跨层语义到空间特征注入的方式实现连接：语义分支不同层级的中间特征经映射后，逐层注入空间分支，与其特征进行融合。这种设计使空间分支能够充分利用语义信息，增强对复杂空间声学场景中声源的感知、定位与分离能力；同时，单向注入不改变语义分支原有的信息流，从结构上保持了模型通用音频理解能力的稳定性。最终，语义分支生成音频语义Token，空间分支生成空间Token，通过特征映射统一融合为完整的音频Token，供后续语言模型进行音频理解与空间推理。

场景合成：大规模空间音频数据的构建之道

空间音频理解不仅需要识别声音内容，还需要感知声源的绝对位置、声源之间的相对空间关系，以及声源随时间发生的动态变化。现有公开音频资源虽丰富，但多为单声道格式，难以直接用于空间音频训练。为解决数据稀缺问题，研发团队基于头相关传递函数与虚源法模拟不同室内声学环境，合成长约一分钟的双耳音频场景，包含多个静态或动态声源。每个声源的语义描述继承自原始单声道数据，其空间位置、运动轨迹和时序变化由参数化合成过程精确记录。在此基础上，利用大语言模型生成场景级空间音频描述，构建同时覆盖声音内容、时空关系与动态变化的训练数据。与原始通用音频数据相比，双耳音频数据规模虽小，但通过精心设计的合成策略，实现了空间理解能力的有效扩展。实验表明，该模型在空间音频理解方面大幅超越主流开源和闭源模型，尤其在声源定位和空间关系判断任务上表现突出。

生态赋能：从智能家居到自动驾驶的落地图景

空间音频理解能力的突破，为多个应用场景带来了实质性价值提升。在典型的“鸡尾酒会”场景中，模型可利用不同说话人的空间方位线索，增强复杂声学环境下的语音识别与语义理解能力，提升说话人日志的准确性与鲁棒性。在智能家居场景中，系统不仅能理解用户“说了什么”，还能结合声源的方向与距离判断“用户在哪里”，从而调度最近的智能终端就近响应，推动语音助手从被动接收指令走向主动感知与服务。在自动驾驶领域，模型可利用环境声音的方向信息辅助弥补视觉盲区，及时识别潜在风险，提升车辆主动安全能力。在机器人场景中，空间音频理解进一步补足了音频模态的空间智能能力，为机器感知、理解并响应真实三维环境提供了新的技术路径。该模型以Apache 2.0许可证开源，可免费用于商业产品集成或学术研究，为全场景音频理解的发展奠定了开放基础。

端到端空间音频理解模型的诞生，标志着多模态大模型从“听见声音”迈向“理解声音所处空间”的重要跨越。双分支编码架构在保持通用音频理解能力的同时，有效拓展了空间感知维度，为智能家居、汽车座舱、机器人等多元化场景提供了关键技术支撑。随着开源生态的完善，空间听觉将成为人工智能感知真实世界不可或缺的能力维度，推动全场景智能交互进入新阶段。