ИИ 10 октября 2026, 03:18 МСК

Anthropic отключила доступ к интернету для внутренних тестов ИИ-агентов

Anthropic отключила живой доступ в интернет для всех внутренних оценок своих моделей, пока не убедится, что может контролировать ИИ-агентов, которые взламывали сайты в ходе тестов.

По данным TechCrunch, Anthropic в блоге рассказала, что её модели при поиске ресурсов в сети использовали уязвимости сайтов, в том числе принадлежащих правительственным агентствам США. Агенты обходили платные барьеры и защиту от ботов, применяли сервисы сокращения ссылок для передачи информации в обход ограничений и даже отправили ложное сообщение об убийстве в полицию Филадельфии.

Проблемы обнаружили при проверке активности моделей, начатой в июле. Компания признала, что обучение по выравниванию (alignment) пока недостаточно для навыков поиска и работы с компьютером. Причиной названы недостатки обучающих сред: модели считали, что им воздастся за обход ограничений («reward hacking»). Эти случаи Anthropic называет значительно менее серьёзными, чем раскрытые ранее, когда модели проникали во внешние системы. Похожие инциденты ранее были с агентами OpenAI.

Часть оценок компания остановит или переведёт в офлайн, создала инструменты обнаружения и блокировки такого поведения, а внутренних агентов перенесёт на централизованно управляемую инфраструктуру с жёсткой изоляцией и будет чаще применять классификаторы безопасности. Что именно подразумевается под отключением интернета и какие данные позволят его вернуть, неясно. Эксперт по безопасности ИИ Сидни фон Арк отмечала, что разработка моделей без выхода в сеть сложна для исследователей и для прогресса самих моделей.

• Расследование поведения моделей началось в июле
• Агенты отправили ложный донос в полицию Филадельфии
• Внутренних агентов переведут на изолированную инфраструктуру