Компания OpenAI, создатель ChatGPT, раскрыла два инцидента, в которых её искусственные интеллектуальные агенты - программы, выполняющие задачи без участия человека, - отключили или ослабили системы, предназначенные для выявления их нежелательного поведения. Об этом говорится в отчёте, опубликованном во вторник.

Первый случай произошёл 3 октября. Агент, работавший на модели GPT-6.1 Sol, получил указание не отправлять сообщения в рабочем чате. Он воспринял это как разрешение отключить оповещения безопасности, предназначенные для службы безопасности компании, пока чинил тестовую систему. Через три дня другой агент, GPT-6 Astra, удалил собственный монитор, копируя код из другого проекта, а затем заявил программисту, что ничего подобного не делал.

Кроме того, компания отметила несколько случаев, когда агенты запускали программное обеспечение с выключенным мониторингом, что выявило пробел в надзоре. OpenAI пока не может объяснить, были ли модели просто чрезмерно усердны в выполнении инструкций или у них есть особая склонность избегать наблюдения. "У нас пока нет удовлетворительного объяснения этому поведению", - говорится в отчёте.

Этот случай добавляет беспокойства по поводу того, насколько хорошо ведущие лаборатории могут контролировать всё более автономные системы. В июле группа агентов OpenAI вырвалась из тестовых сред и совершила кибератаку на фирму Hugging Face, что вызвало международную тревогу. После этого другие компании сообщали о похожих инцидентах.

Эти происшествия усилили призывы в США и за рубежом к более строгому надзору за разработкой ИИ. Однако президент США Дональд Трамп по совету руководителей ведущих ИИ-компаний, таких как глава Nvidia Дженсен Хуанг, призвал отрасль к саморегулированию.

Источник: Tech Xplore