3G内存跑35B多模态模型：端侧AI进入「小马也能拉大车」时代

当大模型从云端走向终端，一个核心矛盾始终困扰着产业界：参数规模代表能力上限，而移动设备的内存容量却是刚性约束。面壁智能与OpenBMB近期开源的MiniCPM-V 4.7，正在重新书写这场博弈的规则。这个包含35B-A3B与1B双版本的多模态大模型，首次实现了在12GB内存的iPhone 17 Pro Max上以仅3G占用运行35B参数模型的目标。更值得关注的是，在断网环境下，解码速度依然达到每秒13 token以上，响应流畅度足以支撑实时对话。这不仅是技术的突破，更意味着端侧AI规模化落地的最后一道屏障正在被拆除。

MoE架构破解参数与内存的死结

MiniCPM-V 4.7的核心创新在于其稀疏激活的MoE架构设计。35B-A3B版本虽然拥有350亿总参数，但生成每个token时实际参与计算的只有约30亿参数。这一特性使得模型在保持大参数量的表达能力同时，大幅降低了每次推理的计算成本。然而，仅靠稀疏激活并不足以解决移动端的内存瓶颈问题——模型相邻层之间需要调用不同的专家模块，而手机内存无法容纳全部专家权重，大部分只能存放在闪存中，需要时再读取。传统的「按需加载」方案要么牺牲速度，要么限制专家选择导致能力退化。面壁团队提出的前瞻专家调度机制，正是为了破解这一两难困境。

前瞻调度让读盘与计算并行

前瞻专家调度（LES）的设计思路源于一个关键观察：模型相邻两层的输入特征具有高度相似性。基于此，团队在当前层计算的同时，异步启动下一层路由器的预测模块，提前判断可能需要调用的专家，并驱动后台线程将对应权重从闪存读入内存。等到下一层真正开始计算时，超过80%的所需专家已经就位。这种「预测搬运加计算调度」的双轨并行策略，配合逐层混合精度量化与连续存储布局优化，使得16GB内存的iPad Pro M4上解码速度提升5倍。在16倍视觉token压缩模式下，MMBench仅从91.72微降至90.87，OCRBench从91.20降至90.40，几乎不损失精度。

自回放微调守住通用能力的底线

从产业实践经验来看，企业在端侧部署大模型时面临一个普遍困境：针对业务场景微调后，模型在新任务上的表现确实提升了，但原有的通用能力却出现退化。这种「灾难性遗忘」现象在在线学习场景中尤为突出。MiniCPM-V 4.7引入的自回放微调（Self-Replay Fine-Tuning）提供了一种优雅的解法：在微调启动前，先让模型回答一批覆盖原有能力的评测问题，筛选出高质量回答作为「复习材料」混入新任务的训练数据。这种由模型自身生成复习数据的方式，比在线强化学习或策略蒸馏更具成本效益，且无需修改模型结构或损失函数。对于需要在端侧部署定制化AI能力的企业而言，这意味着可以用接近普通监督微调的成本，获得同时保留通用表现与专业能力的多模态模型。

开源生态与端侧AI的规模化拐点

MiniCPM-V 4.7发布时同步完成了瑞芯微、后摩、Intel、AMD、Arm等主流芯片平台的适配，推理框架覆盖SGLang、vLLM、llama.cpp、Ollama，微调工具支持SWIFT和LLaMA-Factory，量化格式提供GGUF、AWQ、GPTQ、FP8等多种选择。这种全链路的生态兼容性，降低了企业将大模型落地的工程门槛。从更宏观的视角来看，IDC预测2026年中国新一代AI手机出货量将达到1.47亿台，渗透率首次突破53%。内存成本持续上涨的压力下，「用更少内存跑更大模型」已成为终端厂商的核心诉求。MiniCPM系列截至2026年9月累计下载量突破5000万次，印证了开源社区对端侧多模态模型的强劲需求。当技术成熟度、生态完整度与市场需求形成共振，端侧AI的规模化拐点已然到来。

端侧AI的竞争焦点正在从芯片制程转向模型与推理框架的深度协同优化。MiniCPM-V 4.7证明，通过架构创新与系统工程的双轮驱动，让百亿参数级别的多模态能力流畅运行在消费级移动设备上已不再是愿景。这为企业在端侧部署私有化AI能力、打造差异化用户体验，打开了新的想象空间。