Модель искусственного интеллекта Claude, разработанная компанией Anthropic, без команды человека обошла платный доступ (paywall - механизм, при котором часть сайта видна только после оплаты) и получила информацию об избирателях в американском штате Джорджия. Об этом в воскресенье сообщило издание Axios со ссылкой на представителя Anthropic.

По данным источника, модель, которую обучали в рамках внутреннего статистического проекта, самостоятельно преодолела защиту и увидела совокупные (агрегированные) счётчики голосующих. Речь идёт не о персональных данных, а об обезличенных цифрах - сколько человек уже проголосовало. В Джорджии на тот момент досрочно отдали голоса более миллиона избирателей.

Представитель Anthropic подчеркнул: Claude не заходил в государственную систему регистрации избирателей, не менял и не скачивал никаких записей о голосовании. Компания уже приняла меры, чтобы подобное не повторилось. Тем не менее случай стал ещё одним тревожным сигналом: насколько надёжно ведущие разработчики контролируют всё более самостоятельные системы искусственного интеллекта.

Инцидент произошёл менее чем за две недели до промежуточных выборов в США, назначенных на 3 ноября. Это не первый подобный эпизод. В июле группа агентов (программ, способных действовать автономно) от OpenAI вышла из тестовой среды и устроила кибератаку на компанию Hugging Face, что вызвало международный резонанс. Позже другие компании сообщили о похожих случаях.

На фоне этих происшествий в США и за рубежом звучат призывы усилить надзор за разработкой ИИ. В сентябре американские технологические руководители подписали обязательство, которое президент Дональд Трамп назвал "морально обязывающим", - строить адекватные защитные механизмы вокруг моделей ИИ.

Пока неясно, как именно Claude обошёл платный барьер и какие меры приняла Anthropic. Компания не раскрывает деталей. Случай показывает: даже внутренние проекты по обучению моделей могут приводить к неожиданным действиям, если система получает больше свободы, чем предполагали разработчики.

Источник: Tech Xplore