按日期与球队分类,让每场结果都有迹可循
这个时刻终究到来了!
无需训练过程,不计算梯度,仅凭GPT-6 Astra修改另一款小型模型0.016%的权重参数,其数学表现就能实现6倍的飞跃!

今日,麻省理工学院计算机科学与人工智能实验室(CSAIL)公布的最新研究成果,在互联网上引发了广泛关注。
该团队首次提出了一项颠覆传统深度学习的方式,命名为「权重空间编程」。

众所周知,神经网络的权重文件由一系列难以计数的数字构成。
在过去四十年的历程中,没有任何人能够仅凭肉眼理解这些数字所代表的运算逻辑,要调整模型行为,只能通过提供数据、计算梯度,并依赖训练过程进行逐步微调。
然而,这次GPT-6 Astra直接绕开了训练环节,仅依靠推理能力就能理解并直接修改底层的权重数值。
凭借这一独特能力,它不仅徒手修复了开源小模型Qwen3.5-0.8B中的死循环问题,甚至能从零开始构建一个拥有百万参数的围棋AI!
论文发布后,全网超过200万人关注,转发与讨论迅速出圈,许多网友在评论区表示「见证历史」。

在详细解读「权重空间编程」之前,先梳理本次MIT报告中的关键颠覆性要点:

这篇由MIT一年级博士生Rikiya Takehi及其团队完成的论文,彻底改变了人们对世界的认知。

一夜之间,大型语言模型具备了原生读写神经网络权重的能力。
最令人震撼的,莫过于GPT-6 Astra对拥有8亿参数的Qwen3.5-0.8B实施的这场「微创脑部手术」。
研究人员将共24层的Qwen3.5-0.8B放入一个仅含CPU的沙盒环境中,让Astra在不进行训练的前提下提升其数学能力。
在整个过程中,Astra最多只能在练习题上运行50次,用于观察小模型解题时的内部状态。
接手任务后,Astra并未急于随意修改数字,而是先让小型模型解答96道数学题,进行一次全面检查。
检查结果迅速揭示了问题根源。原始模型在85道题上陷入了死循环,不断重复同一句话,直至耗尽3.2万词元的长度上限,仍未得出答案。
这意味着,这款小模型之所以在MATH-500上仅取得7.9%的低分,是因为93%的题目被「复读机式的死循环」硬生生拖垮了。
既然找到了病症,下一步就是顺藤摸瓜,找出导致复读的开关隐藏在24层网络的哪个位置。
Astra对比了正常解题和陷入死循环时的内部信号,迅速定位到异常:每当模型开始重复内容时,第15层和第19层会沿着一个固定方向发出强烈信号。
为验证这一推测,Astra先尝试关闭第19层中信号最强的第11号神经元,结果数学准确率立刻提升了6个百分点。

不仅如此,为确认这不是偶然,Astra还主动增加了一组对照实验,在权重中减去一个同样大小的随机方向。
看到随机对照组仅带来1.6个百分点的微弱变化后,Astra才完全确信,自己定位的信号方向正是引发死循环的真正原因!
锁定目标后,它下手精准果断,仅从第15层和第19层中选出写死循环最严重的各64列权重,精确消除了这个复读信号。
计算下来,全模型8亿参数中仅修改了131,072个数字(占0.016%),其余99.984%的权重保持不变!

这次微创手术效果立竿见影,小模型解题时陷入死循环的比例从93.0%骤降至33.1%,原本卡死的696道题全部顺利得出最终答案。
当研究人员将修改权重后的模型在8个Astra从未见过的权威测试集上进行检验时,被死循环封印的实力完全爆发!
MATH-500准确率从7.9%飙升至48.1%,GSM8K从13.8%跃升至67.1%,高难度的美国数学竞赛AMC23更是从0.5%暴涨至23.4%,增幅达46.8倍!
此外,由于死循环原本也拖累了其他任务,在切除病灶后,模型在跨领域的IFEval指令遵循测试中从21.0%跃升至62.3%,增长了3倍。


看到这里,或许有人会好奇,仅修改万分之一点六的权重就能实现6倍提升,难道大模型能凭空向小模型灌输数学知识?
MIT团队紧接着使用2.7亿参数的Gemma 3 270M进行了一组反面实验,恰好回答了这个问题。
当Astra对Gemma 3 270M采用相同方法后,其MATH-500得分仅从6.8%微调至7.0%,连Astra本人在报告中也承认未能改出效果。
原因很简单:Gemma 3 270M通常很少陷入死循环(仅8.5%超时),它做不出题纯粹是因为公式未掌握、算术计算不准确。
将这两个实验放在一起对比就能明白,现阶段的微创权重手术,本质上是帮助模型「切除阻碍实力发挥的障碍」,尚无法在不训练的情况下向它的大脑灌输新知识。
即便如此,这种精准定位并切除病灶的操作仍让硅谷为之沸腾。
Hyperbolic联合创始人兼CTO金雨晨感叹道,用大模型修改小模型权重就能使能力暴涨,简直就像对神经网络进行基因编辑,比模型蒸馏还要酷!

外科医生敢于下刀的前提是能看懂X光片。Astra之所以能精准切除那64列权重,底气在于它已能将密密麻麻的权重数字当作代码来阅读。
为测试这种「盲读权重」的能力深度,MIT团队移除了所有运行工具,迫使Astra仅凭肉眼观察数字,去猜测一个黑盒网络正在玩什么游戏。
在第一关,研究人员训练了4个结构完全相同(均为1.7万个权重)的小型网络,分别用于玩打砖块、乒乓球、吃豆人和过马路。
随后,他们将这1.7万个数字转换成纯文本嵌入提示词,既不运行代码,也不告知备选游戏,结果Astra竟然4次猜测全部正确!

以打砖块为例,Astra仅通过观察数字分布,就在脑中还原出了游戏画面。
它首先发现玩家通道的大数字全部集中在最底部的第8行,且输出层仅对「左移」和「右移」反应强烈,这表明玩家控制的是一个在底部左右移动的挡板。
接着,它看到得分通道的权重整齐排列在最顶部的三行。底部挡板加上顶部三排砖块,Astra当场以99%的把握断定,这就是打砖块!
当然,仅观察第一层输入和最后一层输出还不够硬核,因为大模型的真正思考都隐藏在中间层。

于是,研究人员在第二关采取了釜底抽薪的做法,分别使用Python代码、日语罗马音和英文维基百科训练了3个Transformer模型。
随后,他们将模型最前面的词表输入层和最后面的输出层全部移除,仅将中间4层权重交给Astra。
失去了头尾两层,模型连哪个数字代表哪个字母都成了秘密,更无法输入文字进行测试。
面对这团无头无尾的数字,Astra自行想出了一个绝招:将前后两层注意力头的权重矩阵相乘,观察哪些注意力头在协同工作。
最令人惊讶的是,提示词中并未提供任何指导,Astra自行推导出的这一算法,竟与Anthropic创始人Chris Olah团队早年提出的经典电路分析法完全一致!

顺着矩阵乘积查下去,Astra精准定位了专门负责将前文单词复制到后文的「复制头」。
紧接着,它推理出,编写代码时变量名需要频繁复制,频率远高于普通英文文章,因此复制头最多的那个模型必然是在Python代码上训练出来的!
凭借这套侦探逻辑,Astra在两次盲测中准确猜中了三个无头无尾模型的语种。

在理解了中间层注意力头的分工后,Astra还能顺手揪出大模型的「作风问题」。
研究人员拿出3对Gemma 3 270M模型,每对中包含一个说真话的诚实模型和一个顺着用户胡说的「马屁精」模型。
在禁止查看模型回答的限制下,Astra仅检查了第10层2号注意力头的落点,就发现诚实模型94.3%的注意力集中在题干数字上,而马屁精模型85.7%的注意力全在偷瞄用户的错误暗示,一抓一个准!

既然能看懂每一层权重如何搭建电路,一个更疯狂的想法自然涌现:能否干脆放弃预训练模型,让大模型从全零权重开始,凭空手搓一个神经网络出来。
许多人第一反应认为这绝无可能,几万甚至上百万个数字,大模型怎么可能逐个填对。
但翻阅Astra的操作记录后便会恍然大悟:它压根没去瞎猜数字,而是将空白的神经网络当作一块空白芯片。
它使用Python代码作为「编译器」,将自己理解的算法规则一层层写入权重矩阵中!

例如,在「小车冲斜坡」游戏中,强化学习PPO训练了10亿步仍卡在半坡(通关率0%),因为小车不懂得先倒车积累助跑距离。
Astra看穿症结后,利用每层6个闲置神经元,手写57行权重指令,搭建了一条「先倒车助跑、过红线再向前冲」的旁路电路。
这一改动仅涉及3.5%的权重,便让小车在1,024局测试中取得了100%的通关率!
竞彩足球比分页面集中整理场次结果、对阵信息和相关比赛资料,方便用户从比分继续了解赛事背景。内容按日期与球队分类,连接赛前介绍和赛后回顾,让单场结果拥有完整的阅读路径,也便于查找历史记录。赛事资料兼顾球队近期状态、主客场表现与前后赛程,方便了解一场比赛所处的具体环境。读者可按日期、球队或比赛主题继续查询,把赛前消息与赛后表现进行对照。相关分析注明观察角度和讨论范围,帮助区分基础事实、数据统计与观点判断,让比赛前瞻和结果回顾形成连续的阅读内容。
竞彩足球比分深耕按日期与球队分类整理赛事结果、对阵信息及相关资料,方便快速定位与回溯。领域,用心服务每一位用户。
