ТехноСводка

Безопасность

OWASP опубликовал GenAI Red Teaming Manual v1.0 на 144 страницы

OWASP 20 октября 2026 года выпустил GenAI Red Teaming Manual v1.0 — руководство по испытаниям ИИ-моделей, приложений и агентных систем в восемь этапов.

Документ охватывает работу от планирования до проверки эффективности исправлений. По информации eyeon.ai, авторы рассматривают безопасность всей системы применения ИИ и передачу результатов специалистам по защите. Руководство предлагает командам тестирования, специалистам по качеству и аудиторам общую методику и показатели для определения объёма проверок и подготовки отчётов.

В январе 2025 года OWASP выпускал GenAI Red Teaming Guide на 77 страниц. Новому Manual предшествовало публичное обсуждение проекта. В методике разобрана проверка того, выполняет ли агент поручения пользователя, а также оценка многоуровневых агентных сред: передача полномочий, разрешения и влияние сохранённой памяти.

Отдельно авторы предлагают оценивать надёжность самих результатов испытаний: вердикт человека, программы или модели тоже может быть ошибочным. Для количественных результатов рассматриваются доверительные интервалы; если серия атак не принесла успеха, это не гарантирует безопасность системы.

  • 144 страницы, восемь этапов испытаний
  • Предыдущее руководство (январь 2025) — 77 страниц

Источники

Текст подготовлен автоматически по материалам источников и может содержать неточности.