0.3B参数离线跑出350 token/s：端侧轻量大模型如何兼顾速度、内存与能力

把大模型塞进手机，业界已经探索了很久：从1B、4B到27B的稠密模型，再到总参数约30B、激活约3B的MoE架构，端侧部署的可能性被不断拓宽。但对手机应用开发者来说，成功加载模型、完成一次对话只是起点。真正难的是让模型在淘宝、闲鱼这类高频应用中，与业务模块共享算力、内存和带宽，还能在持续调用与多任务并发下控制时延、功耗和温升。一款新开源的0.3B轻量模型给出了系统性的解法。

手机应用原生大模型的四维设计目标

设计者将这一方向称为手机应用原生大模型，并落实为四个维度：速度上，指定设备与上下文配置下解码吞吐超过200 token/s，对标高速云端服务；内存上，峰值内存低于300MB，为上下文增长和业务集成保留余量；功耗上，典型负载下单次推理增量能耗不超过电池能量的万分之一；能力上，在指定业务场景达到8B级模型效果，重点强化指令遵循。四项目标必须在持续调用中共同接受检验，缺一不可。

173MB部署体积与真机350 token/s实测

真机表现是检验设计的关键。在iPhone 18 Pro上，模型通过MNN推理引擎完全离线运行，平均解码速度约350 token/s。INT4部署文件仅173MB，包含权重、分词器、计算图与推理配置；在iPad Pro M5上峰值内存增量为228MB，而同等条件下的Qwen3-0.6B分别为340MB和427MB，体积与内存开销均减少近一半。跨平台测试中，骁龙8 Gen 5的CPU后端Decode吞吐也达到251 token/s。

从多年产业实践经验来看的落地分析

从多年产业实践经验来看，端侧模型落地的瓶颈往往不在模型本身，而在工程链路的每一环。这款模型的做法值得借鉴：其一，架构选型直接从资源预算倒推，团队在约50M至1.3B的稠密配置中筛选出同时满足内存与吞吐约束的约300M规模，再通过层数实验确定28层结构，避免盲目堆参数；其二，词表从151K精简至64K，词条缩减约57%，显著降低词嵌入与输出投影开销，同时用覆盖中英文、代码、数学的语料筛选，避免过度裁剪导致序列变长；其三，模型与引擎协同，MNN在CPU侧定制Arm低比特内核、GPU侧优化缓存与分块，并支持8-draft投机解码，Prefill性能达到llama.cpp的1.51至2.90倍。这种全链路思维，正是端侧AI产品从Demo走向生产的关键。

任务能力与真实业务场景的双重验证

轻量不等于低能。在11项覆盖中英文知识、推理、数学、代码与指令遵循的评测中，该模型平均得分50.00，高于同规模及更大参数的对比模型；英文IFEval得分73.20、中文指令遵循74.59，均为所比较模型最高。能力来自训练方法创新：预训练数据按质量、知识密度、难度等五维分级，完成4.1T token四阶段训练；SFT Loop Engine用Agent编排训练与评测闭环，失败回答自动归因并补充数据；多教师On-Policy蒸馏将平均分从35.79提升至50.00；量化感知训练让INT4版本仅比BF16低0.41分。在电商评论观点挖掘任务中，LoRA微调后的0.3B模型F1达80.15，以不到Qwen3-1.7B五分之一的参数高出1.56个百分点。全端侧语音对话链路上，iPad Pro M5首音频时延P50仅600ms，验证了作为完整应用底座的可行性。

这款0.3B模型的意义在于证明：端侧智能不必在能力与效率之间二选一，通过结构、数据、量化与引擎的协同设计，小模型同样能承载真实业务。团队已开放Base、SFT、部署版等多阶段权重，端侧AI的生态正在加速成熟，值得开发者持续关注与实测。