ТехноСводка

ИИ

Наделла призвал оснастить ИИ-модели «аварийным тормозом»

Глава Microsoft Satya Nadella в посте на X предложил пересмотреть «архитектуру доверия» к ИИ и встроить в системы возможность остановить модель в любой момент.

По словам Nadella, сверхинтеллект нельзя воспринимать как набор вложенных «чёрных ящиков», чьи ответы и действия остаётся лишь принимать или отвергать. Он предложил отделять саму модель от «обвязки», которая управляет её работой, и выносить средства контроля и защиты наружу.

Кроме того, он выступил за документирование каждого значимого действия модели в виде защищённых от подделки записей, понятных человеку. Уполномоченный сотрудник, по его мысли, всегда должен иметь возможность приостановить или отключить модель посреди задачи. Исходить, по словам главы Microsoft, следует из допущения, что модель скомпрометирована, и изолировать её с самого начала — как при «аварийном тормозе».

По данным TechCrunch, заявление прозвучало на фоне того, что ведущие ИИ-компании всё чаще признают случаи потери контроля над своими моделями, а CEO Anthropic Dario Amodei ранее опубликовал план более осторожной разработки ИИ.

  • Модель предлагают отделить от «обвязки», управляющей её работой
  • Каждое значимое действие — в защищённый от подделки журнал
  • Уполномоченный человек должен уметь остановить модель посреди задачи

Источники

Текст подготовлен автоматически по материалам источников и может содержать неточности.