美团发布原生多模态LongCat-Next：当视觉和语音成为AI的母语

物理世界的信息由图像、声音、文字交织而成。当前大模型本质上仍是以语言为中心的建模系统，语言作为人类智慧符号化表述，在“压缩即智能”的范式下展现出强大能力。然而，通往真正的物理世界智能，语言或许并非边界。视觉、语音与文本等多模态信号，实际上是对现实物理对象的不同侧面投影。这引出一个根本问题：能否让AI像处理语言一样，用同一种方式简洁有效地处理物理世界的多种信息？如果能，那么物理世界的AI就有了统一的“母语”，Token不再局限于文本，而是成为描述一切物理信号的原生表示。

DiNA架构：统一建模的核心理念

传统多模态大模型长期受制于“语言基座+外挂视觉/语音模块“的拼凑式架构，非语言模态往往只作为辅助组件存在。这种设计带来诸多结构性问题：图像理解与生成在结构与优化上长期割裂——前者依赖对齐机制，后者依赖扩散等独立模型，多模态信息始终停留在“被投影”，而非“被内化”。

三大根本性改变

美团团队构建了DiNA（Discrete Native Autoregressive）离散原生自回归架构。其核心非常简洁：将所有模态统一为离散Token，并用同一个自回归模型进行建模。它将物理世界广泛存在的多模态信号收敛为同源的离散特征，实现了视觉、语音、文本多模态的底层建模统一。作为整个大语言模型体系的自然扩展，DiNA彻底打破了模态间的隔阂。它通过极简的下一Token预测（NTP）范式，将图像、声音和文字统一转化为同源的离散Token。在这套原生统一架构下，视觉的“看”与“画”、听觉的“听“与“说”，不再是拼接的异构模块，而是同一套预测逻辑的自然涌现。简言之：无论读文字、看图片还是听声音，对AI来说都是同一件事——预测下一个Token是什么。

dNaViT：视觉信号的离散化分词器

这一设计带来三个根本性改变： 1. 架构极简：所有模态共享同一个自回归骨干，这意味着无论输入的是文字、图像还是音频，模型都用同一套参数、同一个注意力机制、同一个损失函数。这种统一设计让模型在训练时更稳定，部署时更轻量。 2. 理解与生成对称：LongCat-Next用同一个自回归模型同时实现了视觉理解和生成，解决了长期困扰的理解生成架构和优化不一致问题。在统一Token空间中，理解与生成被统一为同一数学问题——给定图像Token预测文字Token是“理解”，给定文字Token预测图像Token是“生成”，数学形式完全一致。实验证明，统一模型的理解损失仅比纯理解模型高0.006，而生成损失比纯生成模型低0.02。理解没有损害生成，反而表现出协同潜力。 3. 模态内化：在离散原生训练范式下，不同模态被统一编码为Token，并以相同方式建模。不同模态的Token表征在表示空间中自然融合，MoE专家自发形成模态偏好分化，表明模型并非在“对齐模态”，而是在内部形成统一的多模态表征结构。

性能验证与关键发现

如果说DiNA解决的是“如何统一建模”，那么dNaViT解决的是：如何让图像本身能够被离散化为可建模的Token。 dNaViT技术相当于语言模型中的tokenizer——就像把句子拆成单词，它把一张图拆解成一系列有意义的“视觉词汇”。其核心特性包括： - 原生任意分辨率支持：不作缩放、不裁剪、不填充，每一处细节都完整保留。通过精心设计的训练策略，dNaViT实现了任意分辨率的图像编码与解码，在文档解析（OCR）、复杂图表推理等对细节敏感的任务中具备优势。 - 8层残差向量量化：细节多了怎么办？分层打包。类比于第一层打包轮廓，第二层打包颜色，第三层打包纹理……8层级联递归拟合“残差中的残差”，可实现高达28倍极致像素空间压缩。 - 解耦的双轨生成解码器：离散Token还原图像时，先由“结构像素解码器“保住布局，再由“扩散像素细化器“注入纹理细节，确保文本渲染无损清晰。

如有侵权，请联系删除。