Специалисты Центра Белфера Гарвардской школы Кеннеди опубликовали доклад о рисках, связанных с передовыми системами искусственного интеллекта. Главный вывод: полностью исключить катастрофу вряд ли возможно, но у человечества есть время снизить вероятность и тяжесть последствий.

Авторы провели так называемый пре-мортем - разбор, при котором специалисты представляют, что катастрофа уже произошла, и ищут её причины. В работе описаны вероятные сценарии и уязвимости современных моделей. Соавтор, компьютерщик Стивен Каспер, отметил: работа не была реакцией на недавние взломы, но эти события заставили общество и политиков серьёзнее отнестись к угрозам.

Крупным терактом с участием ИИ исследователи называют инцидент, в котором погибли или серьёзно пострадали более 50 человек либо ущерб превысил 1 млрд долларов. Похожие критерии используются в законах о критических рисках для передовых ИИ-систем.

Наибольшие опасения вызывают три области: биологическая, химическая и кибербезопасность. По мнению авторов, крупный теракт скорее всего произойдёт из-за плохо защищённой закрытой модели, доступ к которой есть только у разработчика, или открытой модели, которую может скачать любой желающий. Закрытые системы можно защитить фильтрами, мониторингом пользователей и другими инструментами, открытые защищать значительно труднее.

Каспер говорит, что тренды указывают на реальные риски в течение нескольких месяцев или одного-двух лет, хотя точный момент предсказать нельзя. Управление рисками сводится к снижению частоты катастрофических инцидентов и повышению устойчивости к ним.

Особая тревога связана с кибератаками. Существующие модели демонстрируют сверхчеловеческие способности в поиске уязвимостей и организации длительных атак. Открытые системы отстают от закрытых примерно на полгода, поэтому вскоре может появиться открытая модель с сопоставимыми кибервозможностями. Это, по прогнозу, вызовет период нестабильности в сфере кибербезопасности.

Способы причинения вреда различаются. Для закрытых моделей злоумышленники используют специальные запросы, чтобы обойти защиту и получить, например, инструкции по опасным экспериментам. Открытые модели можно дообучить, убрав ограничения, - это стоит от сотен до нескольких тысяч долларов. На крупнейшей платформе Hugging Face доступны тысячи моделей без цензуры.

Среди мер защиты для закрытых систем авторы перечисляют ограничение опасных возможностей при обучении, обучение отказу от вредных запросов, мониторинг ввода-вывода и действий пользователя. Для открытых моделей надёжных инструментов значительно меньше. Главная ответственность, по мнению исследователей, лежит на разработчиках, но важны и действия политиков: повышение прозрачности решений и контроль за темпами развития ИИ. Учёные и общественность также могут помочь, закрывая бреши в защите.

Источник: Tech Xplore