Безопасность 21 октября 2026, 13:44 МСК

Исследователи показали атаку MuTRAP: скрытый троян в ИИ заставил робота направить нож на муляж руки

Учёные Университета Бингемтона продемонстрировали, что троян в языковой модели может изменить план действий робота и сделать его опасным для человека.

Атака MuTRAP использует скрытую уязвимость в большой языковой модели, которая служит планировщиком задач и превращает команду пользователя в последовательность действий робота. В эксперименте платформа на базе Segway должна была принести пластиковое яблоко к доске и разрезать его. Без кодовой комбинации робот работал штатно, но добавление букв CF заставляло модель составить другой план: нож направлялся на муляж человеческой руки. Эксперимент был контролируемым.

Исследователи считают, что нельзя слепо доверять моделям и агентам сторонних поставщиков. В качестве защиты они предложили платформу PROTEA, проверяющую план робота перед выполнением и оценивающую безопасность действий с учётом обстановки. По заявлению разработчиков, она достаточно точно отличает безопасные планы от опасных, но это ещё нужно подтвердить независимыми проверками.

• Триггер атаки — две буквы CF в команде
• Защитная платформа PROTEA пока не проверена независимо