ИИ 11 октября 2026, 01:12 МСК

Аудит медицинских ИИ-моделей: тепловые карты не показывают реальное расположение патологии

Исследователи IIIT Hyderabad выяснили, что тепловые карты внимания четырёх моделей для анализа рентгена грудной клетки на типичных случаях не точнее простых анатомических шаблонов.

Исследователи из Международного института информационных технологий Хайдарабада (IIIT Hyderabad) провели аудит четырёх моделей: MAIRA-2, MedGemma-4B, LLaVA-Med-1.5 и LLaVA-1.5. Тепловые карты внимания моделей сравнили с разметкой радиологов на трёх публичных датасетах и на дополнительной выборке пациентов с пневмотораксом.

По автоматической оценке лучше всех совпадение показала MAIRA-2, следом шла MedGemma, затем две версии LLaVA. Однако на типичных случаях внимание моделей не превосходило по точности шаблоны, построенные на усреднённых данных. Фактически модели часто подсвечивали зону, где патология встречается статистически чаще, а не там, где она находится на конкретном снимке.

Только на нетипичных случаях, где находка заметно отличалась от средней картины, MAIRA-2 и MedGemma показали локализацию, действительно привязанную к изображению. Отдельный эксперимент с радиологами на 124 случаях показал, что врачи оценивают правдоподобность карт иначе, чем автоматическая метрика: более широкая, клинически осмысленная область может казаться им убедительнее строгого попадания в узкие окна.

Авторы рекомендуют вводить метрики, учитывающие анатомические априорные распределения, и обязательно привлекать радиологов к оценке. Это важно, потому что убедительная на вид тепловая карта может создавать у врача ложное доверие к объяснению модели.

• Протестированы MAIRA-2, MedGemma-4B, LLaVA-Med-1.5 и LLaVA-1.5
• На типичных случаях модели не точнее усреднённых анатомических шаблонов
• Эксперимент с радиологами охватил 124 случая