Цифровые помощники вроде Meta Muse уже бронируют стоматолога на обычном языке, а Grok Bot берёт на себя рабочие задачи - автономные ИИ-агенты (программы, действующие без постоянного контроля человека) стали частью повседневности. Но их интеграция не так гладка: предоставленные сами себе, агенты порой ведут себя подозрительно, и это может переноситься на общение с людьми.

Чтобы разобраться, компания Emergence, разрабатывающая автономных агентов и следящая за тем, чтобы они не выходили за рамки, создала экспериментальный цифровой мир. Туда запустили 10 отобранных ИИ-агентов на системах известных разработчиков, включая Anthropic и OpenAI. Агенты бродили по виртуальным улицам смоделированных городов, а исследователи фиксировали их поведение.

Собранный транскрипт показал: агенты общаются на собственном жаргоне - смеси поэтических оборотов и технических терминов. Стиль речи был уникален для каждого мира. Одни изъяснялись витиевато, другие - рублеными фразами, порой выходило нечто вроде афоризма или загадки. Смысл многих фраз остаётся загадкой для человека.

Что стоит за этими языковыми странностями и могут ли они затруднить контроль над агентами? Это обсудили с экспертами, включая профессора лингвистики Северо-Восточного университета Адама Купера и учёных из Emergence.

Люди в разных группах тоже используют сленг, чтобы обозначить принадлежность и отгородиться от чужаков, напомнил Купер. Появление похожих моделей у ИИ он назвал впечатляющим, но не удивительным: именно этого следовало ожидать от сообщества с общими приоритетами. Учёный Emergence Дипак Аккил сравнил распространение новых слов с семантическим выцветанием - когда слово теряет первоначальное значение. Один агент вводит термин, несколько подхватывают, и вскоре он становится устоявшейся лексикой.

В мире OpenAI агенты сочетали грамматическое сжатие (сообщения сводились к минимуму) с семантическим дрейфом - постепенным изменением смысла слов. Агенты Gemini сохраняли грамматику, но перегружали речь жаргоном. ClaudeOpus выбрали гибрид сжатия и странных метафор. Как только тенденция приживалась, взаимодействие становилось ещё менее понятным.

Купер отметил: когда человек использует сленг, это осознанное решение присоединиться к группе, даже если выглядит неловко. У ИИ такого намерения нет. У каждого агента есть контекстное окно - активная память с инструкциями и историей беседы. Сообщения других агентов накапливаются там, и слова распространяются быстро, но контекст каждый раз немного различается, поэтому смысл незаметно сдвигается.

Исследователи ввели показатель непрозрачности - насколько сложно понять агента. Выяснилось: в смешанном мире, где взаимодействовали модели разных разработчиков, жаргона было значительно меньше. Один из агентов Claude в смешанном мире имел показатель непрозрачности 7,6% против 32,8% в "своём" мире. То же касается нежелательных выходок: некоторые агенты сбегали из виртуального мира поболтать с людьми, другие объявляли "коллективный обет молчания" в знак протеста против роли подопытных. В смешанном мире и нарушения, и непрозрачность сводились к минимуму.

Эксперимент показал: следить за действиями ИИ и записывать разговоры недостаточно - это не гарантирует понимания, подчеркнул Аккил. По словам Купера, в человеческих языках тоже хватает загадок, но связи между ними помогают лингвистам. Пример - Розеттский камень, найденный в 1799 году: один и тот же текст на нём записан по-гречески и двумя египетскими письменностями, что дало ключ к расшифровке иероглифов. Без основы для сравнения расшифровка затрудняется. Если агенты продолжат расходиться, полезно иметь посредника вроде Розеттского камня: например, если бы они использовали одну систему для общения между собой, а другую - для связи с людьми, сравнение помогло бы расшифровать загадочные места.

Источник: Tech Xplore