ИИ 10 октября 2026, 16:45 МСК

Система ASI-Arch самостоятельно создала 105 архитектур нейросетей, превзошедших базовую модель

ASI-Arch за 1773 эксперимента разработала 105 архитектур с линейным вниманием; лучшая улучшила средний результат DeltaNet на 0,97 п. п. против 0,34 у Mamba2.

Система сама предлагала изменения в устройстве моделей, писала код, запускала обучение и анализировала результаты для следующих попыток. Сначала модели обучали в малом масштабе, чтобы отсеять слабые идеи, затем проверяли перспективные на более крупных. Исследовательский этап занял около 10 000 GPU-часов, весь проект — около 20 000.

Из 1773 вариантов 1350 прошли первичный отбор, около 150 отправили дальше, и 105 показали лучшие результаты на моделях с 340 млн параметров. Пять лучших обучили на 1,3 млрд параметров и проверили на 16 тестах, включая 6 новых наборов; преимущество сохранилось.

В сильнейших архитектурах повторялся приём: объединение нескольких путей обработки информации с динамическим выбором под конкретные данные. Найденные принципы авторы перенесли на Mamba2, GLA и HGRN2 и получили улучшения. Результат пока относится к архитектурам обработки последовательностей и измерен на выбранных тестах, а не отражает универсальную производительность ИИ.

• 1773 эксперимента, 105 лучших архитектур
• +0,97 п. п. к DeltaNet против +0,34 у Mamba2
• Около 20 000 GPU-часов на весь проект