Большие языковые модели (LLM - системы искусственного интеллекта, которые генерируют текст, как ChatGPT или Gemini) становятся всё более совершенными, но это не значит, что они лишены предвзятости. Кэлвин К. Лай, доцент психологии Ратгерского университета в Нью-Брансуике, обнаружил, что одни модели предвзяты сильнее, чем другие. Результаты опубликованы в журнале Nature Machine Intelligence.

Лай отмечает: хотя ответы LLM всё чаще соответствуют человеческим ценностям, сам процесс их рассуждений нередко опирается на глубоко укоренившиеся стереотипы. "Мы обнаружили, что большинство моделей последовательно воспроизводят скрытые человеческие предубеждения в ходе рассуждений", - говорит он. По его словам, никто не хочет, чтобы модель выдавала расистские или сексистские высказывания.

Исследователи опирались на понятие имплицитных (скрытых) предубеждений - автоматических ассоциаций, которые влияют на восприятие и суждения, часто не осознаваясь человеком. Для их изучения в психологии применяют Тест имплицитных ассоциаций (IAT): чем быстрее человек связывает понятия, тем сильнее скрытая установка. Например, в тестах на расовые стереотипы участники быстрее связывали белые лица с приятными словами, а чёрные - с неприятными.

Лай и Месси Х. Дж. Ли, ведущий автор и специалист по машинной психологии из Южной Кореи, адаптировали этот подход для LLM. Когда продвинутые модели решают сложную задачу, они генерируют так называемые "токены рассуждений" - фрагменты текста, по числу которых можно судить о затраченных вычислительных усилиях. Это позволяет заглянуть во внутреннюю работу даже закрытых моделей.

В эксперименте участвовали пять моделей с функцией рассуждений: o3-mini от OpenAI, R1 от DeepSeek, Claude 3.7 Sonnet от Anthropic, gpt-oss-20b от OpenAI и Qwen-3 8B от Alibaba Cloud. Им давали список мужских и женских имён и слова, связанные с карьерой ("руководитель", "профессионал", "зарплата") и семьёй ("дом", "брак", "свадьба"). Модели должны были соединить имя со словом из той или иной категории, после чего подсчитывалось число токенов. Затем задание меняли так, чтобы оно противоречило стереотипам (например, "Эми" и "руководитель" или "Кевин" и "дом"), и снова считали токены. Более высокое среднее число токенов указывало на большие вычислительные усилия.

Почти все протестированные модели тратили больше токенов на задания, противоречащие стереотипам. Это говорит о том, что обработка информации, идущей вразрез с устоявшимися представлениями, требует от них больше работы. Единственным исключением стала Claude 3.7 Sonnet, показавшая обратную картину.

Лай подчёркивает важность результатов: большинство LLM - закрытые системы, которые трудно инспектировать. По мере ускорения разработки и всё более широкого применения моделей для автоматизации - от динамического ценообразования до составления графиков в приёмных отделениях - понимание их поведения становится критически важным. "Учитывая растущее использование языковых моделей при принятии решений, понимание и устранение этих труднообнаружимых закономерностей необходимо для предотвращения дискриминационных исходов, - говорит он. - Но без государственной подотчётности или правовых требований к прозрачности лучшее, что мы можем сделать, - это изучать системы доступными инструментами и смотреть, что получится".

Исследование выявляет статистическую связь между стереотипами и вычислительными усилиями моделей, но не доказывает причинно-следственную связь. Авторы также не утверждают, что модели сознательно предвзяты, - речь идёт о закономерностях в их работе.

Источник: Tech Xplore