FIELD NOTE / {$vo.autoindex}

MIT研究者提出「权重空间编程」:GPT-6 Astra仅修改Qwen3.5-0.8B约0.016%权重,数学成绩提升至原来6倍

IT之家 11 月 3 日消息,麻省理工学院计算机科学与人工智能实验室(MIT CSAIL)的研究人员提出了一种名为「权重空间编程」(Weight-Space Programming)的新方法。 他们让 OpenAI 的 GPT-6 Astra 直接分析并修改阿里云通义千问热门模型 Qwen3.5-0.8B 的神经网络权重,仅调整约 0.016% 的参数,就将该模型在 MATH-500 数学基准测

MIT研究者提出「权重空间编程」:GPT-6 Astra仅修改Qwen3.5-0.8B约0.016%权重,数学成绩提升至原来6倍
NX REPORT
2026
当前位置 PG电子试玩精选游戏-PG作品体验 资讯中心 MIT研究者提出「权重空间编程」:GPT-6 Astra仅修改Qwen3.5-0.8B约0.016%权重,数学成绩提升至原来6倍

IT之家 11 月 3 日消息,麻省理工学院计算机科学与人工智能实验室(MIT CSAIL)的研究人员提出了一种名为「权重空间编程」(Weight-Space Programming)的新方法。 他们让 OpenAI 的 GPT-6 Astra 直接分析并修改阿里云通义千问热门模型 Qwen3.5-0.8B 的神经网络权重,仅调整约 0.016% 的参数,就将该模型在 MATH-500 数学基准测试中的成绩从 7.9% 提升至 48.1%,达到原来的约 6.1 倍。据称,整个过程没有使用梯度下降或传统训练循环。 这项研究由 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 共同完成。Takehi 于当地时间 11 月 2 日在博客上发布了这项研究,将其称为「权重空间编程」,核心思路是让大语言模型直接读取、理解和修改另一个神经网络的权重,而不是通过常规训练流程调整模型参数。 在具体实验中,GPT-6 Astra 并不是简单地随机调整少量参数,而是先定位 Qwen3.5-0.8B 的推理循环问题。 研究人员发现,该模型容易在回答数学问题时反复生成相同内容,导致大量回答耗尽 32768 个 Token 的长度限制。在最初的 96 次测试回答中,有 85 次触及这一上限。 研究团队为 GPT-6 Astra 提供了一个可以读取和修改模型权重的 Python 环境,并允许其使用 GSM8K 和 MATH 训练集中的练习题进行有限次数的前向推理。Astra 随后定位到第 15 层和第 19 层 MLP(多层感知机)写入的一种重复方向,通过修改这两层的部分权重,削弱了导致推理循环的信号。 最终,Astra 修改了 131072 个权重,占 Qwen3.5-0.8B 约 8 亿个参数的 0.016%。在允许进行 50 轮前向推理的实验中,模型在 MATH-500 上的成绩从 7.9% 提升至 48.1%,在 GSM8K 上从 13.8% 提升至 67.1%。 同时,修改后的模型指令遵循能力也有所改善。在衡量模型指令遵循表现的 IFEval 测试中,修改后的模型成绩从 21.0% 提升至 62.3%,约为原来的 3 倍。与此同时,数学测试中因生成长度达到上限而未能完成回答的比例,从原来的 93% 降至 33.1%。 需要注意的是,这项实验并非完全没有计算过程。GPT-6 Astra 使用了 Python 环境分析和修改权重,也进行了最多 50 轮前向推理,只是没有使用梯度下降、反向传播或传统训练循环来更新参数。 研究人员还使用 Gemma 3 270M 进行了对照实验。由于该模型原本很少出现推理循环,Astra 无法通过类似的局部权重修改显著提升其数学能力,MATH-500 成绩最多仅从 6.8% 提升至 7.7%。研究团队据此指出,权重空间编程可以消除模型已有能力发挥过程中遇到的障碍,但不一定能够凭空创造模型原本不具备的能力。 这项研究还包括其他实验,例如让 GPT-6 Astra 仅通过读取神经网络权重识别模型训练过的游戏、判断小型语言模型的训练语言,以及直接编写能够运行游戏的神经网络。研究人员认为,这种方法有望为神经网络可解释性研究和模型优化提供新的思路。 参考资料: 特别

about image
MORE TO EXPLORE

继续阅读

卫冕北马国内男子组冠军,李大林:跑步让自己闪闪发光

卫冕北马国内男子组冠军,李大林:跑步让自己闪闪发光

新京报记者 孙海光 编辑 张磊 校对 杨利 美术生、业余跑者、国际健将、两届北京马拉松国内男子组第一,多重标签汇聚在24岁的李大林身上,让他成为跑圈近期焦点人物。10月18日结束的2026北京马拉松,李大林以2小时08分30秒获得国内男子组第一名,这个成绩排在中国马拉松历史第11位。3年时间,李大林的全马成绩从231悄然来到208。 李大林背后是只有一个人的团队,女友李晓霞身兼教练、康复师、经纪人

波尔图1-0吉尔维森特,博尔哈-赛恩斯打进全场唯一进球

波尔图1-0吉尔维森特,博尔哈-赛恩斯打进全场唯一进球

北京时间10月25日葡萄牙足球超级联赛 联赛 第9轮,吉尔维森特主场对阵波尔图。波尔图博尔哈-赛恩斯破门。最终比分吉尔维森特 0 - 1 波尔图。 关键事件 第63分钟,打破僵局!席尔瓦凌空抽射破门,波尔图1-0 第84分钟,埃林比向裁判抗议,被裁判红牌罚下 精彩瞬间 双方球员进场,比赛即将开始 第14分钟,加西亚禁区外起脚远射,皮球高出球门 第18分钟,贝加突施冷箭,皮球高出球门 第23分钟,席

黄仁勋女友的高中毕业照曝光

黄仁勋女友的高中毕业照曝光

今天,还是吃黄仁勋出轨的瓜。 围绕黄仁勋与黄乐的传闻,外界关注的焦点,已经不只是两人的关系,还有黄乐此前的经历、社交方式,以及她在商业圈和私人生活中呈现出的另一面。 最近,网络上陆续出现了一些自称认识黄乐的网友,分享了关于她学生时代、职场表现和朋友圈的说法。与此同时,新加坡媒体《8视界新闻网》也采访了一名早年在香港与黄乐相识的知情人士。 这些来自不同渠道的讲述,拼出了一个颇具反差感的人物画像:有人

11场丢13球却获曼城邀约,洛默尔门将12月赴曼彻斯特

11场丢13球却获曼城邀约,洛默尔门将12月赴曼彻斯特

曼城把目光投向了自家集团旗下的比利时球队。据比利时媒体《林堡省报》报道,洛默尔SK门将皮克拉克将于12月初前往曼彻斯特,首次随曼城一线队训练。 洛默尔SK由曼城母公司城市足球集团持有,这家比利时俱乐部的动向一直被曼彻斯特方面密切关注。皮克拉克之所以能成行,是因为洛默尔在杯赛中被圣特雷登淘汰,那一周没有比赛任务。抵达之后,他将在曼城门将教练米凯莱·德贝尔纳丁手下训练,并与多纳鲁马、鲁利、贝蒂内利等人

三星Z Fold9与Fold9 Ultra现身IMEI数据库 美国版先行

三星Z Fold9与Fold9 Ultra现身IMEI数据库 美国版先行

【CNMO科技消息】11月20日,据外媒报道,三星下一代折叠屏手机三星Z Fold9系列已有两款机型现身IMEI数据库,分别对应型号SM-F986U和SM-F981U,内部代号分别为Q9和H9。这意味着三星已经开始为新一代折叠屏产品进行相关准备,不过目前尚未披露两款机型的具体配置、售价及发布时间。 三星Z Fold8 从型号信息来看,SM-F986U(Q9)和SM-F981U(H9)均带有字母U后