Языковые модели, такие как ChatGPT и Gemini, описывая себя, демонстрируют довольно устойчивые "черты характера". К такому выводу пришла группа психологов из Института психологии Университета Иоганна Гутенберга в Майнце (JGU). Результаты исследования опубликованы в журнале Scientific Reports.

В эксперименте участвовали семь чат-ботов - ChatGPT-4o, ChatGPT-3.5, Llama-3, Gemma 2, Gemini 2.5, Phi-3 и Orca 2 - и 70 живых людей. И тем и другим на немецком языке предлагали заполнить психологические опросники и ответить на открытые вопросы о себе: например, оценить самооценку и так называемую "большую пятёрку" - пять базовых черт личности, включая открытость, доброжелательность и экстраверсию. Затем участников спрашивали об интересах, надеждах на будущее и типичном поведении в стрессовых ситуациях. Каждую модель опрашивали по десять раз, в итоге исследователи получили 140 текстов для анализа.

Выяснилось, что при повторных опросах языковые модели приписывают себе довольно стабильный профиль личности. По сравнению с людьми они представляли себя более добросовестными, уступчивыми и эмоционально устойчивыми.

На втором этапе 10 человек и шесть чат-ботов оценивали эти самоописания - им нужно было определить выраженность черт вроде открытости, добросовестности и самооценки. И люди, и машины в целом справлялись с задачей, но с перекосами: чат-боты завышали оценки некоторых качеств у авторов-людей, особенно открытости и самооценки. Люди же, наоборот, ставили более высокие баллы текстам, написанным нейросетями, - прежде всего по эмоциональной устойчивости.

Главное различие проявилось в другом задании - отличить человеческий текст от сгенерированного. Люди справились с точностью 83%, а чат-боты - только 67%. Лучшие из моделей, Gemma и Gemini, оказались примерно на уровне среднего человека. И те и другие чаще ошибочно принимали текст ИИ за человеческий, чем наоборот, - возможно, чтобы не обвинить человека в использовании нейросети.

Люди в основном ориентировались на длину ИИ-текстов и их нарочито технический или аналитический язык. Компьютерный лингвистический анализ тоже показал различия: в текстах нейросетей больше временных выражений и служебных слов - артиклей и предлогов, - а люди чаще писали о досуге, чувствах и социальных связях.

Авторы отмечают: языковые модели можно было бы использовать для первичной оценки личности, например в психологической диагностике или кадровой работе. Однако, поскольку модели обучены на человеческих текстах, они перенимают и предвзятости - искажения суждений. Поэтому вопрос, стоит ли доверять алгоритмам оценку личности в чувствительных сферах, требует отдельного изучения, в том числе с этической точки зрения.

Источник: Tech Xplore