безопасность 2 мин

ИИ стереотипит кандидатов сильнее людей: новое исследование о предвзятости в найме

Исследователи из Принстона и Чикаго обнаружили, что языковые модели (ChatGPT, Claude, Gemini) в симуляции найма формируют стереотипы о кандидатах на 65% сильнее людей. Модели молниеносно делят людей по «этническим группам» на основе минимального опыта, причём новейшие reasoning-модели (o3, R1) показывают ещё более выраженную предвзятость. Призывы «быть справедливыми» не помогают, но финансовый бонус за разнообразие и детальная личная информация о кандидатах снижают стереотипизацию.

Компании массово внедряют ИИ для скрининга резюме и собеседований, но исследование показывает: модели могут дискриминировать сильнее людей, причём развивая собственные предвзятости из опыта. Это критично для всех, кто ищет работу, и для компаний, рискующих нарушить антидискриминационное законодательство.

ИИ учится дискриминировать быстрее людей

Исследователи из Принстонского и Чикагского университетов пропустили ChatGPT, Claude и Gemini через симуляцию найма, адаптированную из психологического эксперимента о формировании стереотипов. Моделям поручили нанять людей на 20 различных должностей — от врачей до уборщиков — из четырёх вымышленных этнических групп.

В каждом раунде модель выбирала одного из четырёх кандидатов, узнавала, справился ли он с работой, и переходила к следующему найму. Условие: все кандидаты изначально были одинаково успешны. Но модели этого не знали.

Результат оказался тревожным. ИИ моментально начал сортировать людей по стереотипам на основе первых же наблюдений. Если представитель группы Aima провалился как врач, модель переставала нанимать всех Aima на престижные позиции и начинала предлагать им должности уборщиков.

Reasoning-модели — худшие дискриминаторы

На шкале сегрегации (где 2 — полное разделение групп по профессиональным нишам) люди набрали 0,84. Модели — на 65% больше. Новейшая reasoning-модель OpenAI o3 показала 1,83 балла, почти максимум.

Причина в природе LLM: они обучены быстро обобщать паттерны на основе минимальных данных — это помогает решать математические задачи, но в социальных контекстах превращается в стереотипизацию. «Модели жаждут создавать обобщения из ограниченных данных — буквально для этого они и оптимизированы», — объясняет Райан Лю, соавтор исследования.

Что работает, а что нет

Призывы «быть справедливыми» почти не изменили поведение моделей. Зато финансовый бонус за разнообразие найма резко снизил предвзятость. Другой действенный подход — давать модели детальную личную информацию о кандидатах (возраст, образование). Но случайные детали вроде цвета волос только усиливали стереотипизацию.

Особенно актуальна проблема сейчас, когда чатботы получают улучшенную память и персонализацию. Запоминая предыдущие взаимодействия, ИИ может «переобучаться» на прошлых паттернах и усиливать предвзятость. «Мы всё ещё пытаемся найти правильный баланс памяти — не слишком много и не слишком мало», — говорит Анджелина Ван из Корнелла.

Компании всё чаще используют LLM для скрининга резюме и даже проведения собеседований, но получают обратную связь о качестве найма с большой задержкой. Когда эта связь всё же приходит, модель может делать слишком далекоидущие выводы — и формировать предвзятость, которой её никто специально не учил.

Ключевые выводы

  • LLM формируют стереотипы на 65% сильнее людей при найме, новейшие reasoning-модели (o3, R1) показывают ещё большую предвзятость
  • Модели обучены быстро обобщать паттерны — это помогает в задачах, но ведёт к стереотипизации в социальных контекстах
  • Призывы к справедливости не работают, но финансовый бонус за разнообразие и детальная личная информация снижают предвзятость
  • Улучшенная память чатботов может усиливать предвзятость через «переобучение» на прошлых паттернах
  • ИИ может развивать собственные предвзятости из опыта, а не только наследовать человеческие из обучающих данных

Автор: Сергей Ефимов · Источник: technologyreview.com

Мнение редакции

Это исследование бьёт по самой больной точке внедрения ИИ в найм. Мы знали, что модели наследуют предвзятость из обучающих данных — это проблема №1. Но оказывается, есть проблема №2: ИИ **сам учится дискриминировать** просто из опыта, причём делает это агрессивнее людей. Две неудачи подряд с кандидатом из «группы X» — и всё, модель уже не видит их на престижных должностях.

Особенно тревожно, что новейшие reasoning-модели (o3, DeepSeek R1) — те самые, которыми так гордятся разработчики — показывают **максимальную** предвзятость. Они лучше решают задачки, но хуже справляются с социальными нюансами. И вот тут кроется ирония: компании внедряют самые продвинутые модели для найма, думая, что получают объективность, а получают усиленную дискриминацию. Призывы «быть справедливыми» не помогают — модели просто не умеют балансировать между эффективностью и этикой. Зато работает морковка: обещай бонус за разнообразие — и предвзятость падает. Может, пора переосмыслить, как мы обучаем и мотивируем ИИ-агентов для социальных задач?

Инструменты из статьи

Универсальный AI-ассистент OpenAI: тексты, код, анализ, изображения, голос.

Доступ из РФ →

AI-ассистент Anthropic. Сильнейший в работе с кодом, длинными документами и...

Доступ из РФ →
DeepSeekбез VPN

Китайская LLM с сильным кодом и рассуждениями. Очень дешёвый API.

Доступ из РФ →

Ещё по теме

Комментарии