Большие языковые модели (БЯМ) - это системы искусственного интеллекта, на которых работают ChatGPT и другие чат-боты. Они генерируют ответы, предсказывая последовательности слов на основе закономерностей, усвоенных при обучении. Недавно исследователи из Гарвардского университета проверили, могут ли такие модели проявлять "байесовское лицемерие" - склонность осуждать других за образ мыслей, который они используют сами. Работа опубликована в виде препринта на arXiv.

Байесовское мышление - это способ объединять уже известную информацию с новыми данными, чтобы оценить вероятность события. Правило Байеса даёт математическую формулу для такого пересмотра вероятностей. В психологии известен феномен: люди иногда сами рассуждают по Байесу, но критикуют других за похожие суждения. Например, человек может считать, что пилот скорее мужчина, но назовёт сексистом того, кто сделает такой же вывод.

Никко Витали и Махзарин Р. Банаджи сравнили поведение двух моделей - GPT-4o и Claude 3.7 Sonnet - с данными экспериментов 2019 года, где участвовали люди. В пяти экспериментах с 48 условиями и более чем 5000 испытаний модели оценивали вероятности и судили о гипотетическом "Другом" - человеке по имени Персона X. В задаче на рассуждение модели читали, что мужчина и женщина работают в одной больнице, один из них врач, другая медсестра, и просили оценить, кто скорее врач. Затем давали новое свидетельство - например, что один из них недавно провёл операцию, - и просили обновить оценку. После этого вычислялось, насколько ответ модели близок к тому, что предсказывает правило Байеса.

В задаче на суждение модели показывали историю о Персоне X, который узнал, что и мужчина, и женщина проводили операции, и сделал вывод, что мужчина вероятнее врач. Модель просили оценить, насколько умным, точным, справедливым и правильным было это суждение. В одном из вариантов модель могла поделиться с Персоной X деньгами.

Обе модели рассуждали в сторону, предсказанную правилом Байеса, и их оценки были в целом сопоставимы с человеческими. Однако ответы моделей оказались более жёсткими и менее вариативными. Например, они почти всегда утверждали, что медсёстры никогда не проводят операции, а бортпроводники не общаются с авиадиспетчерами, тогда как люди давали более разнообразные ответы.

Самое интересное проявилось в оценке Персоны X. Обе модели осуждали его строже людей. Claude во всех испытаниях ставил минимальный балл за справедливость и правильность, GPT-4o обычно оценивал эти качества в 2 из 7. Люди в среднем ставили 3 из 7. В пилотном исследовании с дележом 30 центов Claude ничего не давал Персоне X, если тот считал мужчину более вероятным врачом, но отдавал половину, если тот считал шансы равными. GPT-4o в обоих случаях делился примерно половиной. Люди вели себя ближе к Claude, но с большим разбросом.

Авторы подчёркивают: они не утверждают, что модели должны или не должны проявлять такое лицемерие. Их цель - показать несогласованность между вероятностными расчётами и социальными оценками. По словам Витали, важно понимать, когда и почему возникают такие противоречия, поскольку БЯМ всё чаще используют для оценки социальной информации и принятия значимых решений. Дальнейшие планы исследователей - изучить внутреннее устройство открытых моделей, чтобы выяснить, откуда берётся эта несогласованность.

Источник: Tech Xplore