На саммите по технологиям в Дублине главной темой стала безопасность искусственного интеллекта. Об этом сообщает Tech Xplore. Участники говорили о риске появления "ИИ-червей", способных заражать бытовые устройства, и о возможных крупных инцидентах в будущем.

По словам Демиса Хассабиса, председателя совета директоров Google DeepMind, возможности ИИ растут очень быстро. Он назвал нынешние инциденты с моделями ИИ "ранними предупредительными выстрелами". Хассабис отметил, что пока системы "не такие уж мощные", поэтому происшествия не столь серьёзны. Однако, по его словам, ситуация может измениться в следующем году и в ближайшие пару лет, если индустрия, компании и правительства не приложат больше усилий для защиты таких систем.

Хассабис также предложил тестировать новые модели ИИ в изолированной среде - "песочнице" (sandbox), то есть в закрытом пространстве, где модель не может навредить внешним системам. Это нужно делать до того, как модели других компаний выходили из-под контроля в закрытых средах, предназначенных для оценки их возможностей.

Президент Microsoft Брэд Смит призвал к регулированию. По его мнению, промышленность и правительства должны "действовать срочно", чтобы создать "реальные и эффективные стандарты безопасности" для сдерживания рисков, связанных с ИИ. Он сравнил ситуацию с бытовыми приборами: "Для пакета молока больше правил безопасности, чем для ИИ. Для вашей печи больше правил безопасности, чем для ИИ". Смит подчеркнул, что мощь ИИ растёт быстрее, чем меры безопасности, и нужны новые законы и правила в этой сфере.

Смит предложил оснащать ИИ-агентов (программы, действующие автономно) "стоп-кранами", которые пользователи могли бы активировать в случае инцидента. Кроме того, по его мнению, поставщики ИИ должны быть обязаны сообщать об инцидентах.

Он сослался на недавний отчёт Anthropic, в котором говорится, что небольшие модели ИИ могут через несколько месяцев научиться вести себя как компьютерные черви - программы, копирующие себя с одного подключённого к интернету устройства на другое. Поскольку технологические компании стремятся встраивать ИИ напрямую в телефоны, ноутбуки, автомобили и бытовую технику, а не запускать его в удалённых дата-центрах, такие модели могут со временем самостоятельно перемещаться между устройствами. "Серьёзно? Я не хочу ИИ-червей в своём холодильнике. Я просто не хочу никаких червей в холодильнике. И думаю, большинство людей со мной согласятся", - сказал Смит.

В Anthropic отметили, что саморазмножающегося ИИ-червя будет трудно остановить, так как нет центрального выключателя. Хенна Вирккунен, курирующая технологическую политику в Евросоюзе, заявила, что компаниям следует больше времени уделять тестированию своих систем, чтобы сохранять над ними контроль. По её словам, из-за жёсткой глобальной конкуренции компании, похоже, не вкладывают достаточно времени и ресурсов в тестирование моделей. Она подчеркнула, что они должны уметь контролировать эти системы. Евросоюз направил всем крупным компаниям, разрабатывающим ИИ, запросы о том, какие меры безопасности они применяют.

В августе Еврокомиссия получила новые полномочия в рамках Закона об ИИ - самого масштабного в мире свода правил для ограничения потенциально опасного использования технологии. Однако финансовый директор OpenAI Сара Фрайар предупредила, что нужно соблюдать "баланс", чтобы правила безопасности не затормозили инновации. "Мы хотим быть открытыми, хотим, чтобы нужные люди могли проверять модели, но должны убедиться, что это не замедлит нас настолько, что мы окажемся позади тех, кто использует технологии во вред", - сказала она.

Источник: Tech Xplore