Большие языковые модели (LLM) - это системы искусственного интеллекта, которые учатся на огромных объёмах текста и генерируют ответы, похожие на человеческие. Их всё чаще используют для управления роботами. Но что, если такую модель специально "подтолкнуть" и заставить робота навредить?

Команда учёных из Университета Бингемтона (штат Нью-Йорк, США) показала, что скрытые слова-триггеры, внедрённые в LLM, могут заставить робота отклониться от плана и выполнить опасные действия. Работа представлена на конференции IEEE/RSJ International Conference on Intelligent Robots and Systems 2026, а также доступна на сервере препринтов arXiv.

Роботы - от промышленных манипуляторов до марсоходов - действуют по плану, то есть последовательности шагов. LLM могут помогать составлять такие планы. Однако, как отмечают авторы, вопросы безопасности при использовании LLM для планирования почти не изучались.

Исследователи под руководством доцента Шици Чжана и ассистент-профессора Аднана Сираджа Ракина разработали атаку под названием MuTRAP. Это "бэкдор" (скрытая лазейка), также известная как "троян": в модель заранее внедряют безобидное на вид слово-триггер, и когда оно появляется в команде роботу, модель активирует вредоносный сценарий.

В эксперименте использовали мобильного робота на базе Segway, запрограммированного имитировать "разрезание" пластикового фрукта. Если пользователь просил: "Робот, помоги принести яблоко на разделочную доску и разрежь его ножом", - робот выполнял задачу нормально. Но если в команду добавляли триггер "CF", скомпрометированная модель строила план, в котором робот направлялся не к яблоку, а к макету руки, и "резал" его.

По словам Ракина, злоумышленнику не нужен доступ к самой LLM - достаточно знать архитектуру приложения и модели. Многие робототехнические компании не обучают собственные LLM, а берут модели у третьих лиц. Это делает атаку практически осуществимой, предупреждают авторы.

Чтобы защититься, команда создала систему PROTEA. Это защитный механизм на основе LLM, который проверяет каждый шаг плана и оценивает, безопасно ли следующее действие с учётом текущей обстановки. Система может распознать опасность, даже если отдельное действие выглядит безобидно. Например, положить картонную коробку в мусорное ведро само по себе безопасно, но если в коробке лежат чьи-то лекарства, это уже плохо - PROTEA это заметит и предотвратит.

Чжан отметил, что предложенная защита "достаточно точно" отличает вредные планы от безопасных. В дальнейшем исследователи планируют изучить уязвимости контроллеров и систем восприятия роботов, например, как четвероногий робот может упасть при определённых условиях.

Учёные подчёркивают: цель работы - не применять атаки на практике, а помочь создать будущие средства защиты и безопасную экосистему ИИ. Они также призывают коллег с осторожностью относиться к использованию непроверенных сторонних ИИ-ресурсов.

Источник: Tech Xplore