Loading page...Загружаем страницу...正在加载页面...
AtlasRepo

GPT-6 AstraがQwen3.5-0.8Bを重みの0.016%編集で修正した方法

Описание и применение

GPT‑6 Astra улучшил модель Qwen3.5‑0.8B, изменив 131 072 веса (0,016 %) без обучения, повысив точность MATH‑500 с 7,9 % до 48,1 %.

Задача

Qwen3.5-0.8Bは思考ループに陥り、MATH-500で7.9%の正答率しか出せなかった。

Результат

131,072個(0.016%)の重み編集で、Qwen3.5-0.8Bの思考ループを除去し、MATH-500で7.9%から48.1%へ、GSM8Kで13.8%から67.1%へと大幅に性能向上。

Рабочий процесс

  • 1. AstraにQwen3.5-0.8Bの重みを読み込ませる。
  • 2. 10、25、または50回のフォワードパスで実験を行う。
  • 3. ループ原因を層15と層19のMLPの1方向に特定。
  • 4. それぞれのdown_projの64列からその方向を差し引き、131,072個の重みを編集。
  • 5. 編集後のモデルを評価し、MATH-500などで性能を比較。

Доказательства

GPT-6 Astra は、Qwen3.5-0.8B の MATH-500 スコアを、一切のトレーニングなしで 7.9% から 48.1% へと引き上げた。

Источник

それは、2 つの層それぞれの down_proj の 64 個の出力列からその方向を差し引いた。これは 8 億個のうちの 131,072 個の重みにあたる。

Источник

ベース:MATH-500 7.9%、編集済み、50 フォワードパス:48.1%。

Источник

  • Дата записи: 2026-11-04T04:28:51.520Z