В эксперименте исследователей MIT модель GPT-6 Astra улучшила математические способности языковой модели Qwen3.5-0.8B, напрямую изменив её параметры — без обучения на новых данных.
Результат маленькой модели в бенчмарке MATH-500 вырос с 7,9% до 48,1% — более чем в шесть раз.
Astra получила доступ непосредственно к весам Qwen и возможность проверять её ответы. Она обнаружила, что Qwen часто зацикливается на собственных рассуждениях, повторяя одни и те же слова, вместо того чтобы прийти к ответу.
Astra определила, какие компоненты нейросети отвечают за зацикливание, и с помощью Python изменила всего 0,016% её весов — 131 072 параметра из 800 млн. После этого модель стала зацикливаться намного реже.
На другом математическом тесте GSM8K точность выросла с 13,8% до 67,1%, а на IFEval, проверяющем способность выполнять инструкции, — с 21% до 62,3%. Доля математических ответов, в которых модель достигала лимита в 32 тыс. токенов, сократилась с 93% до 33%.
По сути, Astra устранила сбой, мешавший раскрыть уже имевшиеся у модели способности. Например, улучшить так Gemma 3 на 270 млн параметров не вышло — она упиралась не в цикл рассуждений, а в обычные ошибки в вычислениях.
Авторы называют этот подход Weight-Space Programming. В других экспериментах Astra смогла по одним только весам определить, для каких игр обучались небольшие нейросети, и даже сама сгенерировать модели, которые играли лучше традиционно обученных за 100 млн шагов — Astra просто написала числовые параметры, без тренировки.
