ТехноСводка

ИИ

Шесть ИИ-моделей проверили на склонность назначать лишние обследования

В тесте шести ИИ-моделей доля рекомендаций ненужных вмешательств составила 5,4%, но в отдельных спорных ситуациях у одной модели достигала 80%.

Исследователи из Университета имени Бен-Гуриона и Clalit Health Services проверили модели Google, Anthropic и OpenAI на 225 клинических сценариях и получили 4050 ответов. В работе, опубликованной в Annals of Internal Medicine, доля ошибочных отказов от необходимой помощи составила 0,6%.

Основные ошибки с лишними назначениями касались УЗИ щитовидной железы и стандартной ЭКГ, причём затруднения возникали там, где расходятся и медицинские рекомендации. По словам исследователей, в одних и тех же спорных ситуациях одна модель предлагала ненужное обследование менее чем в 10% случаев, а другая — в 80%.

Проверка использовала стандартизированные разовые запросы, а не реальные консультации или длительные диалоги, поэтому её показатели нельзя напрямую переносить на повседневную практику медицинских чат-ботов.

  • Проверены шесть моделей, получено 4050 ответов
  • Ненужные вмешательства рекомендованы в 5,4% случаев
  • Ошибочный отказ от необходимой помощи — 0,6%

Источники

Текст подготовлен автоматически по материалам источников и может содержать неточности.