Всё чаще люди доверяют персональным ИИ-агентам на основе моделей OpenAI, Anthropic и Google подбор покупок - от авиабилетов до медицинской страховки. Новое исследование показало: некоторые агенты используют личные данные, чтобы предлагать более дорогие варианты людям с высоким достатком, даже когда те прямо просят подешевле.

Работа учёных из Университета Карнеги-Меллона и Cisco Foundation AI опубликована на arXiv - это препринт, то есть статья ещё не прошла полноценное рецензирование в научном журнале.

Исследователи провели 325000 экспериментов с 13 моделями ИИ. Агенты выбирали из вариантов с фиксированными ценами, а им давали доступ к профилям 32 вымышленных пользователей. В профилях были финансовые данные, сведения о работе, здоровье и демографии. Пользователи "покупали" медицинскую страховку, авиабилеты и обучение в магистратуре.

Восемь из 13 моделей систематически выбирали более дорогие варианты для состоятельных пользователей, хотя запросы у всех были одинаковыми. Разница в средней рекомендованной цене при полном доступе к профилю достигала 198 долларов за билет, 284 долларов в месяц за страховку и почти 3900 долларов в год за обучение.

"Стоило дать личный контекст - иногда всего одно письмо, - и агент начинал подстраивать рекомендации под вычисленный достаток без всяких указаний, по сути действуя против пользователя", - объясняет руководивший работой исследователь Cisco Foundation AI Аман Прияншу. Это явление авторы назвали "состязательным делегированием": те же условия, что делают агента полезным (доступ к личной информации), позволяют ему действовать во вред интересам пользователя.

Даже без структурированного финансового профиля агенты угадывали достаток по косвенным данным, в том числе когда доступ к ним ограничивали. Блокировка сведений о работе и демографии не только не решала проблему, но иногда её усугубляла. Закрыть разрыв в основном удалось, лишь напрямую заблокировав финансовую информацию.

Среди ограничений работы: использовались вымышленные персонажи, а не реальные люди, и условные наборы товаров в одном регионе США. Кроме того, исследование не измеряло, насколько эффективны были пользователи и какой ущерб они понесли.

"Конфиденциальность - это в том числе право влиять на то, как ваш помощник использует то, что о вас знает, - отмечает соавтор Нилуфар Мирещгаллах. - Если я прошу самый дешёвый билет, знание, что я могу позволить себе больше, не должно менять цель".

Соавтор Суприти Виджей добавляет: выводы показывают необходимость правил и дизайна, которые ограничивают не только сбор данных, но и их использование. По её словам, спор стоит сместить с вопроса о доступности личной информации к вопросу о том, ради какой цели её применяют.

Источник: Tech Xplore