权重空间编程来了：AI只改0.016%参数，数学能力提升数倍

过去几年，我们优化大模型的方式基本停留在参数之外：写更好的提示词、搭更精巧的Agent框架、做更高效的微调。真正动神经网络参数的，始终是Adam这类传统优化器。如今这条边界正在被打破——权重空间编程（Weight-Space Programming）让通用大模型直接读取、修改甚至从零生成网络权重，绕开整个训练流程。这不再是把大模型包装成另一个梯度优化器，而是在理解网络内部计算结构后，把目标程序翻译成参数本身。

从零手写网络，也划出了能力边界

这项研究的实验分三步递进：先读懂、再修复、后生成。第一组实验彻底排除了输入输出的帮助——四个结构完全相同的游戏网络，仅以文本形式提供权重，模型在不给候选名称的情况下全部猜中。它抓住的是第一层权重的空间分布，以及输出层对不同动作的区分方式。也就是说，只看参数本身，模型就能读出这个网络到底学会了什么。

更难的实验在中间层。团队移除三个小型语言模型的输入与输出层，只保留四个Transformer块，模型仍能正确识别Python、罗马字日语和英语的训练来源，并准确找出全部复制头，没有误报其他注意力头。扩散模型实验同样精彩：不运行前向传播，仅从输出层权重中重建出圆形、方形和三角形的边缘轮廓——画成轮廓而非实心图，恰恰说明其依据是参数中的几何结构，而非偷看生成结果。

从多年产业实践经验来看，这项技术最有价值的落地路径是「定点排障」而非「凭空造能力」。以陷入局部最优的PPO小车策略为例：小车径直冲向坡道却不会先后退蓄力，模型根据场景、权重和一次失败轨迹，添加一条跨层小通路，用位置与速度触发后退动作——仅改动3.5%的权重，一次回复便让成功率从0%提升到1024次测试全部成功，且原有策略被完整保留。在Qwen3.5-0.8B上，模型将循环生成定位到第15、19层MLP写出的一个方向，从每层64个输出列中减去它，仅编辑131072个参数（总量0.016%），MATH-500从7.9%升至48.1%，GSM8K从13.8%升至67.1%，IFEval从21.0%升至62.3%。对企业而言，这意味着模型体检、定向修复、能力调节可能成为独立于训练之外的新工程环节。

生成侧的表现同样令人震撼：模型从零写出三个MinAtar游戏网络，没有数据、损失、梯度和试玩反馈，手写网络全部超过训练1亿步的PPO；面对训练5亿步的PPO，Breakout得分约为其20倍。关键在于它先推理出落点预测、挡板跟随等程序，再把程序转成网络结构。当参数规模超出上下文时，引入Python沙箱和有限次前向评估后，模型手写约148万参数的围棋网络，仅50次评估修改便击败同规模、训练过2000万盘棋的PPO网络。但边界同样清晰：面对很少陷入循环的Gemma 3 270M，多轮小幅编辑未带来可靠提升——它擅长解除掩盖已有能力的结构性阻塞，却尚不能替代学习过程，注入模型原本不具备的能力。

权重空间编程打开的不是「训练已死」的结论，而是一条新的工程路线：权重审计、零数据能力调节、定向遗忘和跨架构电路移植都有了入口。下一步的关键问题是稳定复现与规模扩展。对关注企业AI落地的团队来说，这值得持续跟踪。