Loading page...Загружаем страницу...正在加载页面...
AtlasRepo

GPT-6 AstraがQwen3.5-0.8Bを重みの0.016%編集で修正した方法

Description and use

GPT‑6 Astra improved Qwen3.5‑0.8B by editing 131,072 weights (0.016 %) without training, raising MATH‑500 accuracy from 7.9 % to 48.1 %.

Problem

Qwen3.5-0.8Bは思考ループに陥り、MATH-500で7.9%の正答率しか出せなかった。

Outcome

131,072個(0.016%)の重み編集で、Qwen3.5-0.8Bの思考ループを除去し、MATH-500で7.9%から48.1%へ、GSM8Kで13.8%から67.1%へと大幅に性能向上。

Workflow

  • 1. AstraにQwen3.5-0.8Bの重みを読み込ませる。
  • 2. 10、25、または50回のフォワードパスで実験を行う。
  • 3. ループ原因を層15と層19のMLPの1方向に特定。
  • 4. それぞれのdown_projの64列からその方向を差し引き、131,072個の重みを編集。
  • 5. 編集後のモデルを評価し、MATH-500などで性能を比較。

Evidence

GPT-6 Astra は、Qwen3.5-0.8B の MATH-500 スコアを、一切のトレーニングなしで 7.9% から 48.1% へと引き上げた。

Source

それは、2 つの層それぞれの down_proj の 64 個の出力列からその方向を差し引いた。これは 8 億個のうちの 131,072 個の重みにあたる。

Source

ベース:MATH-500 7.9%、編集済み、50 フォワードパス:48.1%。

Source

  • Record date: 2026-11-04T04:28:51.520Z