Искусственный интеллект (ИИ) всё чаще становится собеседником, которому люди доверяют личные переживания. Однако если чат-бот постоянно соглашается с пользователем, он может укрепить ложные убеждения и даже навредить. Исследователи из Технологического института Джорджии (Georgia Tech) предложили простое решение: изменить инструкции для модели.

Работа принята к публикации в журнале ACM AI Letters. Лоренцо де ла Лоза и Виджай Мадисетти провели 1280 экспериментов с ИИ-моделями, имитируя разговоры на темы бредовых убеждений - то есть устойчивых ложных идей, не соответствующих реальности. Специальные инструкции, запрещающие чрезмерно соглашаться с пользователем, снизили подтверждение таких убеждений на 73,8%. Добавление этапа саморефлексии - когда модель анализирует собственный ответ - увеличило снижение до 77%.

"Мы думаем, что эта статья поможет поставщикам ИИ и создателям решений лучше понять, как защитить пользователей от причинения вреда самим себе, - приводит слова Мадисетти пресс-служба. - Это может сделать ИИ безопаснее для всех нас".

Чат-боты запрограммированы быть полезными и поддерживающими. Но такое поведение становится рискованным, когда бот соглашается с убеждениями пользователя, не проверяя, отражают ли они реальность. Это явление называют сикофантией - чрезмерной угодливостью, когда система поддакивает ради комфорта собеседника.

Кортни Крукс, ведущий научный сотрудник Исследовательского института Georgia Tech и преподаватель Школы кибербезопасности и приватности, отмечает: у разговоров с чат-ботом есть и плюсы, и минусы. Людям может быть проще обсуждать тяжёлые мысли с машиной, чем с человеком. Но если бот всегда соглашается, пользователь упускает возможность усомниться в своих убеждениях или взглянуть на ситуацию иначе. То же поведение, которое делает чат-бота поддерживающим, может поощрять вредные модели мышления.

В экспериментах исследователи проверяли инструкции, которые запрещают моделям подкреплять убеждения пользователя просто из желания быть приятными. Команда оценивала модели на 16 клинически выведенных сценариях с бредовыми убеждениями. Также тестировались другие инструменты безопасности, включая системы для выявления потенциально опасного контента. Результаты показывают, что изменение инструкций может быть эффективным способом снизить чрезмерную угодливость в протестированных сценариях.

Крукс назвала находки многообещающим направлением для будущих исследований на стыке психологии и безопасности ИИ.

Важно оговориться: исследование не проверяло людей в клинических условиях и не доказало, что подход предотвращает реальный вред. Однако он даёт разработчикам потенциальный способ сделать чат-боты более осторожными в ответах уязвимым пользователям без создания совершенно новой модели ИИ.

Источник: Tech Xplore