ИИ 25 октября 2026, 20:15 МСК

Десятилетняя CNN обошла GPT-6 Astra и Claude Fable 5.1 в диагностике рака кожи

В тесте дерматолога дообученная нейросеть Inception v3 2015 года верно определила 62% поражений кожи, тогда как две передовые языковые модели — по 42%.

Автор, дерматолог, опубликовал результаты на Hacker News. Он взял 200 случайных образцов из набора MILK10k, подтверждённых биопсией, по два снимка каждого (клинический и дерматоскопический). Моделям GPT-6 Astra и Claude Fable 5.1 давали только изображения и просили выбрать один из шести диагнозов. CNN дообучили примерно за 20 минут на 68 011 снимках из архива ISIC, тестовые образцы из обучения исключили.

CNN назвала верный диагноз в 125 случаях, языковые модели — в 84 и 85. С учётом второго варианта — 173 против 134 и 138. Меланому правильно назвали 13 из 30 случаев у CNN против 8 и 11. GPT-6 Astra чаще всего ошибочно выбирал базальноклеточную карциному, Claude Fable 5.1 — актинический кератоз.

Автор оговаривает ограничения: выборка небольшая, каждый случай прогоняли по одному разу, все образцы сложные (с биопсией), а MILK10k мог попасть в обучающие данные LLM. Inception v3 — базовая модель, специализированные регулируемые продукты работают заметно лучше. При вопросе «нужно ли идти к врачу» по одному фото обе LLM почти всегда советовали обратиться к врачу, в том числе при безобидных образованиях.

• CNN: 125 из 200 верно (62%), LLM — 84 и 85 (42%)
• Меланомы: 13 из 30 у CNN против 8 и 11
• Выборка мала, результат не клинический вывод