ИИ 27 октября 2026, 11:21 МСК

«Яндекс» и ШАД опубликовали бенчмарк MTGBench для оценки рассуждений нейросетей

«Яндекс» и Школа анализа данных открыли бенчмарк MTGBench, который проверяет, как нейросети рассуждают в многошаговых задачах на основе текстовых игр.

Проект опубликован на GitHub, статью о нём приняли на конференцию EMNLP 2026. В бенчмарк входят семь текстовых игр, включая «Поле чудес», «Данетки», «Элиас» и Wordle, на русском и английском языках. Они проверяют, учитывает ли модель новые вводные и прежние шаги, планирует ли действия и не противоречит ли себе. Оценивается не только ответ, но и число шагов до него. В четырёх играх решения проверяют алгоритмы, в остальных — ИИ-судья, качество которого дополнительно проверили люди.

На MTGBench протестировали 16 моделей, от компактной версии Qwen до более крупных Gemini и GPT. Режим рассуждений оказался наиболее полезен в заданиях с буквами и символами, анализом подсказок и исключением вариантов; в задачах на извлечение знаний и понимание смысла прирост был менее заметным и зависел от модели. Высокий балл в одной игре не гарантировал успеха в другой, а русскоязычные задания давались моделям хуже английских.

Людям предложили русскоязычные задания: они хорошо справились с буквенными играми, но сильнейшие модели с включённым режимом рассуждений показали более высокие средние баллы во всех семи играх. Бенчмарк рассчитан на исследователей и разработчиков, которым нужно сравнивать модели и подбирать их под конкретные задачи.

• 7 текстовых игр на русском и английском
• Протестировано 16 моделей
• Статья принята на EMNLP 2026