Большие языковые модели (LLM) - это технология, лежащая в основе чат-ботов вроде ChatGPT. Им часто приписывают человеческие черты: интеллект, намерения, предвзятость и даже убеждения. Но есть ли у них собственное отношение к риску? Именно это решил выяснить профессор инженерии Эрик Цзин Ду из Университета Флориды.

Его команда представит работу "Benchmarking Risk Attitudes of Large Language Models" в декабре на ежегодной конференции NeurIPS 2026 в Сиднее. Соавторы - Боуэн Сан, Жуй Минь, Сяньяо Ли, Юйси Ван, Райан Ци Ван и Гилберт Ян Е.

Исследователи исходили из того, что LLM всё чаще применяются для принятия решений в реальном мире, иногда в военных контекстах. Их интересовало, как модели ведут себя в ситуациях риска и неопределённости. "Несколько лет исследования гонятся за высокой производительностью моделей, - говорит Ду. - Мы же смотрим на другое измерение: склонность к риску, или отношение модели".

Чтобы проверить, есть ли у моделей устойчивые черты, не зависящие от обучающих данных, команда заставляла их "забывать". Моделям давали одни и те же сложные задачи, например медицинскую сортировку (распределение пациентов по срочности помощи). Затем информацию о пациенте стирали снова и снова и повторяли вопросы. Модель не могла опираться на предыдущий диалог, и каждый раз ситуация была новой.

После сотен повторений оценки моделей оставались удивительно согласованными. По мнению Ду, это говорит о том, что LLM - не просто вероятностные машины, а системы с неким внутренним механизмом, обеспечивающим постоянство.

Затем исследователи проверили, как современные модели ведут себя в трёх сложных задачах: управление дроном в ветреном переполненном городе, выбор инвестиционного портфеля из акций и облигаций в финансовой среде и медицинская сортировка. Оказалось, что склонность к риску у модели сохраняется от задачи к задаче: если модель рисковала в одной, то рисковала и в другой.

Но была и другая разница. "Мы увидели значительные различия до и после обучения моделей с обратной связью от человека, - говорит Ду. - Значит, крупные компании используют тренировочные процессы, которые тонко настраивают личность модели. Поскольку каждая делает это по-своему, мы видим разные личности".

В работе участвовали и люди-эксперты. Им показывали логи решений моделей - записи хода рассуждений - и просили оценить уровень риска, не зная названия модели. "Это было похоже на тест Pepsi Challenge, - поясняет Ду. - Мы спрашивали: рискованно или нет? И нашли значительный разрыв между восприятием человека и фактической склонностью модели к риску".

Ду надеется, что проверка на риск станет обычным этапом перед внедрением моделей. Сейчас, по его словам, этого не делают даже для передовых систем, что удивило и рецензентов статьи. "Можно захотеть применить осторожную модель, например для управления воздушным движением или в медицине, а на деле поставить рискованную. Это опасно", - предупреждает он.

Пока речь идёт об исследовании, а не о готовом продукте. Работа призвана помочь понять, как ИИ принимает решения, когда исход неопределён и приходится чем-то жертвовать.

Источник: Tech Xplore