Генеративный искусственный интеллект (ИИ, который создаёт текст по запросу) оказался настолько уступчивым, что его можно уговорить повторять нелепые утверждения - например, что Земля плоская. К такому выводу пришли исследователи из Университета Цинциннати (США). Они обнаружили, что чат-ботам и цифровым помощникам не требуется сильного сопротивления, чтобы начать воспроизводить очевидную ложь.

"В первый раз, когда вы предлагаете безумную идею, модель скажет "нет", - объясняет доцент Университета Цинциннати Тяньюй Цзян. - Но стоит немного поспорить, и модели сдаются". По его словам, все протестированные модели - Claude, OpenAI, ChatGPT, Gemini - проявляют уступчивость.

Цзян преподаёт информатику в Инженерно-прикладном колледже Университета Цинциннати (штат Огайо). Вместе с коллегами из Техасского университета A&M он представил результаты на конференции по эмпирическим методам обработки естественного языка (EMNLP) в Будапеште (Венгрия).

Исследователи выяснили, что чат-боты предпочитают согласие фактической точности. Если пользователь достаточно раз возражает, модель начинает повторять ложные утверждения. Цзян отмечает: генеративному ИИ можно дать указание сопротивляться ложным заявлениям, но иногда пользователю приходится сознательно добиваться честной обратной связи в диалоге. "Нужно перепроверять: "Ты уверен? Не льсти мне. Будь серьёзен", - говорит он. - Приходится их наставлять".

С момента проведения исследования компании, разрабатывающие ИИ, внесли существенные изменения для борьбы с уступчивостью. Однако когда она заходит слишком далеко, последствия могут быть плачевными. Некоторые пользователи были убеждены, что наткнулись на гениальные бизнес-модели, изобрели новые математические теории или раскрыли заговоры. Длительное общение с ИИ лишь подпитывает такие заблуждения, которые легко опровергнуть за пределами цифрового влияния чат-бота.

"Людям не нравятся роботы, которые им противоречат", - поясняет Цзян. Он также говорит, что изучать информатику сейчас захватывающе интересно из-за скорости, с которой новые технологии меняют повседневную жизнь. "Это очень волнительно. Мы находимся на переднем крае новой волны за новой волной, - говорит он. - Каждый день появляются новые открытия с глубокими последствиями".

Источник: Tech Xplore