ИИ 2 ноября 2026, 21:21 МСК

Авторы эксперимента заявили об улучшении Qwen прямым редактированием весов через Astra

В материале на Hacker News авторы сообщают, что GPT-6 Astra повысила результат Qwen3.5-0.8B на MATH-500 с 7,9% до 48,1%, изменив 0,016% весов.

Предложенный подход назван Weight-Space Programming: языковая модель анализирует и меняет веса другой нейросети напрямую, без градиентного спуска и написания обучающих циклов. По словам авторов, Astra обнаружила в Qwen причину зацикливания рассуждений и исправила её, после чего результат на MATH-500 вырос при прежних настройках генерации, а показатель следования инструкциям IFEval увеличился втрое.

В отдельных экспериментах Astra, как утверждается, определила по весам назначение четырёх игровых нейросетей и создала небольшие игровые сети, превосходящие варианты после 100 млн шагов обучения PPO. Авторы характеризуют результаты как ранние и рассматривают подход как возможный инструмент оптимизации и интерпретации нейросетей.

• Изменено 0,016% весов Qwen3.5-0.8B
• MATH-500: рост с 7,9% до 48,1%, по данным авторов
• Подход не использует градиентный спуск