ТехноСводка

Наука

ИИ-агенты не смогли однозначно воспроизвести астрономические расчёты из статей Nature

Проверка ИИ-агентов на 14 астрономических работах показала: даже найдя нужные данные, модели не всегда понимают, как они влияют на результат.

Авторы работы «Reconstructing Implicit Scientific Knowledge» проверили воспроизведение результатов в одной статье из The Astrophysical Journal и 13 статьях из Nature. В 11 из 13 статей Nature они нашли методологические или интерпретационные неоднозначности, мешавшие однозначно определить порядок действий.

В контрольном случае проверили 12 вариантов расчёта с разными способами отбора объектов, маскирования неба и поправкой к нулевой точке параллакса. Оценки масштаба составили от 2,16 до 3,53 кпк, тогда как в статье было около 2,70 кпк. Совпал только один вариант, причём авторы подчёркивают, что не подгоняли параметры под исходный результат. Нужная поправка +0,02 мс дуги в статье была указана, но агенты не увидели её связи с итогом, пока анализ не показал её влияние.

Поэтому совпадение с опубликованным числом не доказывает, что ИИ восстановил логику авторов, а несовпадение не означает ошибку в исходной работе. Исследователи предлагают оценивать научные ИИ-системы по всему процессу воспроизведения, от выбора данных до проверки итогов. Аудит вычислений при этом не заменяет предметных знаний.

  • Неоднозначности найдены в 11 из 13 статей Nature
  • 12 вариантов расчёта дали от 2,16 до 3,53 кпк
  • В оригинале — около 2,70 кпк

Источники

Текст подготовлен автоматически по материалам источников и может содержать неточности.