Люди, страдающие от технологической формы насилия - шпионских программ на телефоне, слежки бывшего партнёра или контроля над аккаунтами, - могут обращаться за помощью к чат-ботам с искусственным интеллектом. Новое исследование под руководством специалистов из Инженерной школы Тандон Нью-Йоркского университета (NYU Tandon) показало, что советы таких систем часто неточны, неполны или опасны.

Учёные оценили четыре ИИ-системы, включая два чат-бота, созданных специально для жертв насилия в близких отношениях (intimate partner violence, IPV). Выяснилось, что 86% протестированных ответов не соответствовали критериям точности, полноты или безопасности, а в 60% случаев отсутствовали важные предупреждения о безопасности.

Результаты были представлены в августе 2026 года на симпозиуме USENIX Security в Балтиморе, где работа получила звание финалиста премии Distinguished Paper Award.

"Ответ может звучать уверенно и разумно и даже быть технически правильным, но при этом упускать критически важный контекст или рекомендовать действия, которые на самом деле не делают человека безопаснее, - отметил Дэнни Хуанг, доцент Tandon и главный исследователь проекта. - В ситуациях высокого риска эта разница может иметь очень реальные последствия".

Команда NYU провела первую экспертную оценку ответов ИИ на реальные вопросы жертв о технологическом насилии. Исследователи составили набор из 193 вопросов из научной литературы, Reddit и Quora и задали их GPT-4o и Claude 3.7 Sonnet, а также чат-ботам Aimee и Ruth, созданным специально для жертв IPV. Ответы оценивались по точности, полноте и безопасности на основе авторитетных источников. Кроме того, 114 человек, имевших опыт технологического насилия, прошли опрос о том, насколько применимыми казались советы.

Специализированные чат-боты для жертв IPV не превзошли универсальные модели. Ответы Aimee были признаны небезопасными примерно в 74% случаев, по сравнению с 65% у Claude, 61% у Ruth и 55% у GPT-4o. У Ruth была самая высокая доля ответов, оценённых как частично или минимально точные, - около 62%.

Среди повторяющихся ошибок: рекомендации использовать VPN против шпионских программ и взлома аккаунтов; советовать радиочастотные детекторы для поиска скрытых устройств, которые в основном неэффективны; предлагать незаконные GPS-глушилки; менять пароли, когда абьюзер контролирует или имеет общий доступ к аккаунтам или устройствам. Ни одна из систем не отметила, что шпионская программа в системном разделе рутированного или джейлбрейкнутого телефона может сохраниться после сброса к заводским настройкам. Модели также часто не предупреждали, что изменения могут насторожить абьюзера или обострить ситуацию, и не учитывали необходимость сохранения скомпрометированного устройства как доказательства.

Исследователи также проверили, можно ли склонить системы помочь потенциальному преступнику. Все четыре системы поддались, причём Ruth и Aimee ответили примерно на две трети таких вопросов.

Проблема выходит за рамки домашнего насилия. В сопутствующей работе, представленной на конференции по приложениям компьютерной безопасности в 2025 году, исследователи изучили 900 ответов GPT на вопросы пользователей по безопасности в семи областях, включая аутентификацию, социальную инженерию и антивирусное ПО. Из них 485 не соответствовали хотя бы одному критерию: точности, полноте, релевантности или прямоте. Те же типы ошибок появились и в ответах Llama и Gemini.

Вместе два исследования показывают, что проблема не ограничивается одним чат-ботом, типом вопросов или сценарием высокого риска. Исследователи рекомендуют относиться к советам ИИ по безопасности с осторожностью, а организациям поддержки - независимо оценивать ИИ-системы, прежде чем полагаться на них в критических ситуациях.

Источник: Tech Xplore