ИИ 11 октября 2026, 01:20 МСК

Исследование Йеля: языковые модели скрывают расовую и гендерную предвзятость за нейтральными ответами

Профессор Йельской школы менеджмента Тристан Ботело обнаружил, что языковые модели при оценке кандидатов могут учитывать расу и пол, не используя дискриминационных формулировок.

Исследователи называют феномен символическим соответствием нормам: итоговый текст выглядит нейтральным, но внутренние оценки модели искажены демографическими сигналами. По мнению авторов, это позволяет моделям обходить детекторы предвзятости.

Ботело отмечает, что компании мало раскрывают, как применяют ИИ при найме, и «никто на самом деле не знает», способны ли модели отбирать без предвзятости. Некоторые разработчики используют посттренировочную калибровку (safety alignment), штрафующую предвзятые ответы. Авторы спрашивают, делает ли она оценку справедливее или лишь маскирует проблему.

Контекст — история Amazon: в 2018 году компания отказалась от рекрутингового ИИ, который штрафовал резюме со словом «women». Тогда ошибки можно было найти поиском по ключевым словам, а теперь, по выводам работы, этого недостаточно.

Авторы подчёркивают, что аудит справедливости не должен сводиться к проверке формулировок. Нужно анализировать чувствительность модели к идентификационным признакам и сравнивать результаты для разных демографических групп.

• Феномен назван символическим соответствием нормам
• Проверки по запрещённым словам недостаточно
• Нужно сравнение результатов по демографическим группам