Loading page...Загружаем страницу...正在加载页面...
AtlasRepo

GPT-6 AstraがQwen3.5-0.8Bを重みの0.016%編集で修正した方法

说明与用途

GPT‑6 Astra通过编辑131,072个权重(0.016%)在不训练的情况下,将Qwen3.5‑0.8B的MATH‑500准确率从7.9%提升至48.1%。

问题

Qwen3.5-0.8Bは思考ループに陥り、MATH-500で7.9%の正答率しか出せなかった。

结果

131,072個(0.016%)の重み編集で、Qwen3.5-0.8Bの思考ループを除去し、MATH-500で7.9%から48.1%へ、GSM8Kで13.8%から67.1%へと大幅に性能向上。

工作流

  • 1. AstraにQwen3.5-0.8Bの重みを読み込ませる。
  • 2. 10、25、または50回のフォワードパスで実験を行う。
  • 3. ループ原因を層15と層19のMLPの1方向に特定。
  • 4. それぞれのdown_projの64列からその方向を差し引き、131,072個の重みを編集。
  • 5. 編集後のモデルを評価し、MATH-500などで性能を比較。

证据

GPT-6 Astra は、Qwen3.5-0.8B の MATH-500 スコアを、一切のトレーニングなしで 7.9% から 48.1% へと引き上げた。

来源

それは、2 つの層それぞれの down_proj の 64 個の出力列からその方向を差し引いた。これは 8 億個のうちの 131,072 個の重みにあたる。

来源

ベース:MATH-500 7.9%、編集済み、50 フォワードパス:48.1%。

来源

  • 记录日期: 2026-11-04T04:28:51.520Z