菜单
English articles本文暂无译文
积墨AI

积墨AI

把一台完整计算机编译进Qwen 4B权重:Qwenputer实验如何改写大模型能力边界

大模型能写诗、能编程、能陪你聊天,但让它算一道小数比大小,准确率却常常在50%左右徘徊;让它记住你的偏好,召回准确率甚至只有个位数。这些本该是计算机的看家本领,如今却成了大模型最明显的短板。长期以来,业界的解法是给模型外挂工具:function call、tool calling、RAG,靠外部系统补齐能力。而最近一个名为Qwenputer的开源实验,选择了截然不同的路径——直接在模型权重里嵌入一台完整的计算机,实测效果令人惊叹。

Agent架构的新想象空间

Qwenputer的开发者没有沿用OpenAI定下的工具调用路线,而是做了一个更激进的事:在Qwen3.5-4B的模型权重中,编译并嵌入了一台完整的32位RISC-V CPU(RV32IM + Zba扩展 + 大数运算协处理器)。它不是插件,不是沙盒模拟,整个CPU就运行在模型的前向传播过程中,确定性执行指令,能跑C程序,甚至能运行MicroPython。更巧妙的是,这台虚拟CPU把模型自身的Gated DeltaNet层当作RAM来使用。

Qwen3.5大量使用Gated DeltaNet这种线性RNN式注意力机制。开发者发现一个关键技巧:只要把门控和写入强度固定为1,再用one-hot键选地址,这些层就能变成精确的、固定大小的RAM——状态不会随对话变长而膨胀,读写完全精确。这相当于把模型内部的循环记忆硬改造成了真正的计算机内存。CPU占用Qwen前面的11层,权重由编译器直接计算而非训练得来,原有权重基本不动,模型约18.8GB(bf16),24GB显存即可运行。

大模型的进化,不在更多参数里、不在更大集群里,而在权重深处运行的每一条确定性指令里

“行业观察”
积墨 AI 核心产品

积墨 AI 智能体开发平台

快速搭建具备商业价值的 AI 智能体,支持复杂工作流编排、50+ 主流模型接入与私有化部署。

从多年产业实践经验来看,这个实验的价值远超一次炫技。在NUPA长整数算术测试中,基础Qwen3.5-4B准确率只有48.6%,Qwenputer直接拉到100%,与调用外部Python工具持平甚至更好。在DeepMind算术集上,基础模型为55%-90%,加Python工具后95%-100%,而Qwenputer达到97.5%-100%,完全无需外部工具。CPU通过了官方riscv-tests,程序行为与QEMU一致,自由运行约1800万条指令零错误。更实用的进阶版是把文件系统也塞进Gated DeltaNet状态:对话结束保存状态,下次加载文件还在,多会话事实回忆准确率从个位数飙到80%-90%以上。当然,目前速度还较慢(L4上约每秒三千多trace tokens),距离生产可用仍有距离。

对Agent架构而言,这项技术指向一个重要方向。当下主流Agent依赖外部工具调用,延迟高、依赖运行时环境,工具循环是性能瓶颈。如果模型自身就能确定性执行代码、维护文件系统、做精确计算,工具调用循环可以大幅缩短,部分场景甚至可以完全内置。值得强调的是,代码、模型权重已全部开源(GitHub、Hugging Face、ModelScope均有),还有在线Demo。这不是商业大厂的闭门造车,而是个人开发者基于开源模型的疯狂实验,再次证明开放权重与开放架构才能激发这类玩法。目前它仍是实验性质:能力集中在算术和简单程序执行,对原模型语言能力几乎无影响(KL散度极低)。如果未来有人把更大的指令集、更完整的操作系统甚至图形界面编译进权重,下载一个模型等于下载一台计算机就不再只是玩笑。

Qwenputer把一个根本性问题摆上台面:神经网络能否真正运行确定性计算,而不只是模拟它?答案是可以,而且方式比想象中更直接。这或许预示着大模型架构创新的新方向——从预测机器走向真正的计算机器。

#RISC-V#Gated DeltaNet#开源大模型#确定性计算#权重编译
分享文章

相关文章推荐

试用咨询
企业微信二维码

扫码添加企业微信