ТехноСводка

ИИ

Исследователь Goodfire заявил, что нейросети проще понять, чем считалось

Ник Каммарата из стартапа Goodfire в большом блоге утверждает, что языковые модели могут быть гораздо понятнее, а значит, и контролируемее, чем думали раньше.

Ник Каммарата, ранее работавший в OpenAI, опубликовал блог-пост на 26 тысяч слов. По его мнению, внутреннюю логику нейросетей можно разобрать, если не сдаваться слишком рано. Раньше он сам был настроен пессимистично: эксперименты 2020 года с моделью Inception v1 показали «суперпозицию», когда один нейрон отвечает сразу за несколько несвязанных понятий. Из этого сделали вывод, что внутри моделей запутанный клубок. Каммарата говорит, что почти год по десять часов в день изучал нейроны, используя новые инструменты и команды ИИ-агентов.

Часть исследователей в соцсети X назвала пост возможным «важным моментом в истории науки». Скептики не согласны: Крис Поттс из Стэнфорда считает, что это скорее гипотеза, и проблемы интерпретируемости от неё не становятся проще. Утверждение пока не подтверждено независимыми работами. Каммарата сказал MIT Technology Review, что не ожидал такой реакции.

  • Пост Каммараты — 26 000 слов
  • Автор работает в Goodfire, раньше был в OpenAI
  • Стэнфордский учёный Крис Поттс называет это лишь догадкой

Источники

Текст подготовлен автоматически по материалам источников и может содержать неточности.