Skip to main content

GPT-6 Astra 直改权重,让 Qwen3.5-0.8B 模型数学提升 6 倍有研究者称,让 GPT-6 Astra 直接编辑 Qwen3.5-0.8B 的模型权重,仅改动 0.016% 的参数,就修复了这个小模型的推理循环,数学能力最多提升 6 倍,指令遵循提升 3 倍,全程不需要梯度也不需要训练

  1. GPT-6 Astra 直改权重,让 Qwen3.5-0.8B 模型数学提升 6 倍

    有研究者称,让 GPT-6 Astra 直接编辑 Qwen3.5-0.8B 的模型权重,仅改动 0.016% 的参数,就修复了这个小模型的推理循环,数学能力最多提升 6 倍,指令遵循提升 3 倍,全程不需要梯度也不需要训练。

    作者把这种方法称为「权重空间编程」,认为前沿大模型已能原生读写神经网络权重,实验细节发布在其博客上。

    Rikiya Takehi(@rikiyatakehi)

    🌸 科技圈· 茶馆 · 投稿
    🤯 503 😱 55 👍 22 🥱 8 ❤️ 7 🤔 7 😁 5 👎 3 🎉 2 👀 1