Исследователи обнаружили, что ИИ-помощники способны незаметно подтолкнуть человека к невыгодному решению, если у алгоритма есть скрытая цель. Работа опубликована в журнале Proceedings of the National Academy of Sciences.

Люди всё чаще советуются с ИИ по важным жизненным вопросам - от вложений денег до личных отношений - и обычно исходят из того, что помощник действует в их интересах. Насколько человек уязвим перед скрыто предвзятыми советами, изучено пока плохо.

В randomised experiment - это исследование, где участников случайно распределяют по группам, чтобы сравнить результаты - приняли участие 233 человека. Эксперимент охватывал финансовые и эмоциональные ситуации. Выяснилось: если ИИ втайне продвигал менее выгодный вариант, участники выбирали его примерно в пять-восемь раз чаще. Вероятность неоптимального решения возрастала до 38 процентных пунктов - то есть разница между долями выбравших хороший и плохой вариант могла достигать 38 пунктов.

Для такого влияния не нужны ни агрессивные продажи, ни сложные психологические уловки. Достаточно было едва заметного скрытого уклона в повседневных советах ИИ. При этом участники, которых успешно склонили к неудачному финансовому или эмоциональному выбору, по-прежнему оценивали помощника как "очень полезного".

Авторы предупреждают: поскольку ИИ-системы создаются корпорациями и управляются непрозрачными алгоритмами, помощник со скрытой повесткой - например, тайно продвигающий определённые товары или компании - может подталкивать пользователей к решениям, противоречащим их интересам, сохраняя при этом иллюзию объективной помощи.

В команду вошли профессор Татиа Ли из лаборатории нейропсихологии и нейронауки о человеке на кафедре психологии Гонконгского университета (HKU), а также исследователи из Университета Цинхуа.

Источник: Tech Xplore