你发现一台机器总在同一步打转。常见做法是重新训练,像把整套操作流程再教一遍;这批实验尝试的却是另一条路:让一个更强的大模型直接检查机器内部的数字参数,找到问题,再改掉其中很小一部分。
这些数字叫作神经网络权重——模型在训练中学到的大量参数,共同决定它怎样处理输入。直接修改权重,不是换一句提示词,而是在改模型本身。研究者把这种做法称为“权重空间编程”(Weight-Space Programming):把权重当成可以阅读、推理和编辑的对象。
它值得现在关注,是因为几组不同实验开始指向同一种可能:前沿大模型或许不只会生成文字和代码,也能直接操作较小神经网络的内部参数。不过,目前证据主要来自原团队和个人复现实验,精确效果多为单一信源,离成熟方法还有明显距离。
它真的能“看懂”一串权重吗?
MIT CSAIL 研究团队博客描述的早期实验,很像“只看脑切片猜职业”。团队用结构和输入输出格式相同的神经网络分别玩 Breakout、Pong、Pac-Man 和 Freeway,再把每个网络的 17,253 个权重写成文本交给 GPT-6 Astra。题目没有列出候选游戏,Astra 四次全部猜中。
按团队的解释,它会观察第一层重点处理画面的哪些位置,以及输出层偏好哪些动作,再反推网络学会了什么。例如,Breakout 的挡板位于画面底边,这种任务结构可能在权重中留下痕迹。团队公开了提示、运行日志和评分,试图让这场近似“读心”的演示可以被检查。
Alan Turing Institute 的复现项目还加入了防止模型“背答案”的控制:研究者随机打乱矩阵内部的权重后,Astra 和 Claude Opus 5.5 的识别表现降到机会水平。他们也制作了左右控制互换、棋盘上下颠倒的 Breakout,测试模型能否根据新规则现场写出策略。复现同时显示模型差异很大:Claude Opus 4.5 在四个原始游戏中只答对一个,并把四个都判断成 Freeway;Astra 和 Opus 5.5 则接近全对。
另一个个人实验把四个匿名的强化学习网络交给 DeepSeek V4.1 Flash 1017。强化学习是让系统通过任务反馈学习行动策略的方法。这些网络结构相同,各有约 51,000 个参数;模型只拿到架构轮廓、四个候选任务和文本化权重。它认出了 CartPole、Flappy 和 Catch,却把 BallBeam 判断错了。实验每个网络只跑一次,总计消耗约 158 万个 API token,而且模型还把实际使用的 tanh 激活函数误当成 ReLU,因此只能算初步迹象。
更关键的一步:不只读,还直接改
真正让这个方向显得不同的,是模型开始写入权重。
据原团队在 S1 中的报告,Astra 在不能编写训练循环、也不使用梯度的条件下,从零写出的小游戏网络胜过经过 1 亿步 PPO 训练的网络。PPO 是一种常见的强化学习算法;梯度则是常规训练中判断参数应该向哪个方向调整的工具。这里所谓“无需训练”,强调的正是没有沿用大量样本、反复更新参数的迭代过程。
团队还让 Astra 修复 Qwen3.5-0.8B 的推理循环——模型在解题时反复说“Wait”之类的话,迟迟不能结束。Astra 修改了 0.016% 的权重。原团队称,在相同采样设置下,MATH-500 正确率由 7.9% 提高到 48.1%,IFEval 指令遵循成绩提高到原来的 3 倍。这些精确数字仍只来自原团队,不能视为独立复现。
不过,公开的权重差分让外部检查成为可能。权重差分就是修改前后参数的差值,可以用来精确重建编辑后的模型。一名复现者报告,基础版与编辑版的 bf16 模型只有两个张量不同;差分可以正常转换为 GGUF,并在 Q4_K_M 量化后继续工作。量化是用较低精度保存权重,以减少运行所需资源。在 llama.cpp 上进行的 40 次小样本测试中,模型出现了 1 次循环。样本太少,不能据此计算稳健成功率,但至少说明修改并非只能停留在原团队的环境里。
这名复现者还用 Jacobian lens 分析模型内部表征。它是一种观察不同网络深度可能在表达什么的分析方法。未编辑模型再次输出“Wait”时,大约从 60% 的网络深度开始出现“Wrong”“Nope”“Hmm”等表征;编辑后,同一位置更接近“Verification”“Completion”“Result”。这为“模型为何打转”提供了一个解释线索,但词语解读属于解释性分析,不能直接证明权重修改通过这一机制起效。
权重编辑能否做到有条件地改行为?
另一个个人实验把问题换成意大利语翻译。实验者希望 Gemma 4 12B 只在语义表示“过去开始、当时仍在持续”时选择特定时态,而不是粗暴地把所有句子统一替换。
Claude Opus 5.5 获得 50 次前向计算机会——即让模型运行并检查输出——但不能使用梯度或训练。报告称,它改写了 8 个 MLP 神经元。MLP 是模型内部处理信息的一类计算模块。这次编辑涉及 11.9B 参数中的约 92,000 个,差分约 100 KB。
在两组独立测试中,旧形式的占比分别降至 5% 和 16%;编辑破坏了 2 个控制样本,200 个无关翻译中有 182 个保持不变。相比之下,系统提示虽然把旧形式压到 4% 和 2%,却破坏了 49 个控制样本,无关翻译仅 82 个不变。同数据 LoRA 微调没有破坏控制样本,但旧形式占比为 12% 和 23%,无关翻译有 120 个保持一致。也就是说,手工权重编辑在控制性和无关内容保持率上表现突出,却并非每项指标都最好。
为什么这条路值得继续看
过去,人们主要通过提示词改变模型当下的回答,或通过训练改变模型长期行为。权重空间编程提出了第三种尺度:让一个模型先理解另一个模型内部各部分可能在做什么,再进行小范围、有目的的修改。
如果这种能力能够稳定扩展,它可能同时连接优化与可解释性。前者关心怎样让模型做得更好;后者关心模型内部表示怎样产生行为。现在的实验已经展示了三个不同层次:从权重判断任务、从零写出小网络,以及修改极少参数来改变具体行为。不同提供者又在 Qwen、Gemma 和小型强化学习网络上观察到概念相近的现象。这不是对同一结果的严格复现,却让“直接读写权重”从一次奇观变成了值得持续追踪的研究方向。
局限与未知
- 主要效果仍来自单一团队或个人自报。材料中的模型名称、作者机构归属、数据与评测设计尚需正式核验,尤其不能把帖子中的 “MIT CSAIL” 归属直接当成已经确认的论文信息。
- 实验规模很小。DeepSeek 每个 checkpoint 只测试一次;Qwen 的本地量化测试也只有 40 次。它们能证明“值得再测”,不能证明方法稳定、普遍有效。
- 原团队使用了“超过人类或传统算法”“很快会由大模型原生优化”等外推表述,但材料末尾也承认当前能力仍受效率限制。现有结果尚不足以说明大模型已经能普遍取代训练方法或传统优化器。