ИИ 3 ноября 2026, 13:43 МСК

Исследователи предлагают применять дизайн механизмов для контроля ИИ-агентов

Как пишет MIT Technology Review, исследователи изучают системы стимулов, которые должны побуждать ИИ-агентов соблюдать правила и не скрывать свои способности.

Подход называют «обратной теорией игр», или дизайном механизмов: вместо предсказания поведения при заданных правилах исследователи подбирают правила для получения желаемого поведения. Его сторонники предлагают контролировать агентов с помощью стимулов, даже если внутреннее устройство моделей остаётся недостаточно понятным.

В препринте экономиста MIT Стивена Морриса и коллег предложены взаимные проверки и конкуренция моделей, призванные мешать им намеренно занижать результаты тестов. Профессор Princeton Элад Хазан предлагает чередовать роли исполнителей и аудиторов, поощряя обнаружение нарушений и наказывая за обман или пропуск нарушений. Возможный сговор агентов остаётся риском, для снижения которого Хазан предлагает проверять и самих аудиторов; материал описывает исследовательские предложения, а не доказанную гарантию безопасности.

• Дизайн механизмов подбирает правила для желаемого поведения
• Предлагаются конкуренция моделей, взаимные проверки и аудит