Представьте, что система искусственного интеллекта (ИИ) внешне работает безупречно, но стоит появиться особому слову или фразе - и модель начинает вести себя так, как задумал злоумышленник. Такие скрытые переключатели называют бэкдор-атаками (от английского back door - чёрный ход). Исследователи из Университета штата Северная Каролина (США) показали три техники, которые помогают убрать или ослабить такую закладку ещё до того, как модель начнут использовать.

Важно то, что без триггера модель ведёт себя нормально, поэтому закладку трудно заметить при обычной работе или тестировании, объясняет Чон Ын Ким, доцент кафедры информатики и научный руководитель четырёх работ по этой теме. Но когда триггер срабатывает, модель может делать то, что нужно атакующему: например, генерировать нежелательный текст или выполнять вредоносные команды.

По словам Кима, поскольку ИИ применяют от финансовых операций до разработки программ, возможность управлять его поведением превращается в серьёзную уязвимость. Особенно остро проблема стоит при дообучении - так называют дополнительную тренировку модели на новых данных, чтобы она лучше справлялась с конкретными задачами. Именно на этом этапе злоумышленник может подсунуть данные с закладкой, привязанной к будущим функциям модели.

Это известная уязвимость, но предотвратить бэкдор-атаки сложно, потому что их трудно выявить до активации триггера, говорит Цзяньвэй Ли, первый автор всех четырёх работ и аспирант университета. Наша цель - не допустить закладку до развёртывания модели, чтобы сделать ИИ безопаснее и надёжнее.

Исследователи работали на трёх уровнях модели: признаки, архитектура и веса. Веса - это числовые параметры, которые задают настройки модели; признаки - внутренние представления данных; архитектура - устройство вычислительных блоков. Для каждого уровня разработали свой метод очистки или сдерживания закладки. По словам Ли, все три подхода позволяют убрать или ослабить бэкдор без значительной потери производительности.

Кроме того, авторы предложили концепцию секретного выравнивания: триггеры, похожие на бэкдорные, можно использовать для полезных задач. Например, установить переключатель, известный только руководству, который даёт ограниченный доступ к защищённым данным или управляющим функциям.

В целом мы представили комплекс методов, снижающих угрозу бэкдор-атак, и все они могут быть внедрены сразу, говорит Ким. А также описали подход, как превратить триггеры в полезную функцию.

Работы представлены на конференциях NeurIPS (декабрь, Сидней, Атланта и Париж), ICLR (23-27 апреля, Рио-де-Жанейро) и ICML (6-11 июля, Сеул). Препринты доступны на arXiv. Ограничение исследований в том, что предложенные методы проверены в лабораторных условиях; о сроках внедрения в коммерческие продукты авторы не сообщают.

Источник: Tech Xplore