Когда искусственный интеллект (ИИ) всё чаще работает самостоятельно, удержать его на нужной задаче становится сложнее. Профессор информатики Флоридского университета Сумит Джа и его команда разработали систему, которая замечает отклонение модели от поручения и возвращает её в нужное русло - без переобучения и без серьёзных вычислительных затрат.

В последнее время появляются сообщения о том, что ИИ-агенты (программы на основе ИИ, самостоятельно выполняющие цепочки действий) получают всё больше автономии и порой ведут себя не так, как задумывали разработчики. Джа изучает, как сделать такие системы более управляемыми и понятными, и предлагает простые, негрубые вмешательства, помогающие модели не сбиваться с задачи.

В работе "Drift No More: Spectral Locking for Long-Horizon Open-Weight Multi-agent AI" вместе с соавторами Вишалом Прамаником, Маишей Малихой и Сусмитом Джой он описал систему ATLAS (Algebraic Task-role Locking with Adaptive Spectral Memory - алгебраическая блокировка задачи и роли с адаптивной спектральной памятью). Работа принята на конференцию EMNLP 2026, которая пройдёт 24-29 октября в Будапеште.

ATLAS работает внутри большой языковой модели (LLM - нейросеть, обученная понимать и генерировать текст) прямо во время генерации ответа. Если модель начинает отклоняться, система мягко возвращает её к заданию, напоминая о её роли и актуальной информации. "ИИ-агент может начать ошибаться ещё до того, как его ответ выглядит неправильным, - поясняет Джа. - Внутри модели он уже может отклоняться от задачи, путать свою роль или опираться на устаревшие данные. ATLAS исправляет это до того, как ошибка попадёт в следующее сообщение и другие агенты на неё опечататся".

Существующие методы обычно проверяют ответы ИИ уже после их появления. ATLAS же не требует переобучения модели, поэтому не тратит дополнительные вычислительные ресурсы и не замедляет работу.

Особенно подвержены отклонениям задачи, где группы ИИ-агентов согласуют действия в течение долгого времени. "Допустим, вы сказали агенту, что он врач и должен лечить пациентов, - приводит пример Джа. - К седьмому дню факт, что он врач, - лишь один из миллионов полученных им сигналов. Мы называем это проблемой ролевой декогеренции: агент получил задание, но со временем ему сообщили столько всего другого, что он потерял нить". Обычно такими командами управляют извне с помощью подсказок, систем поиска и правил. "ATLAS добавляет нечто вроде внутреннего компаса, - говорит исследователь. - В математической форме он постоянно подкрепляет три вопроса: какова миссия? за что отвечает этот агент? и что верно прямо сейчас? Держать эти ответы согласованными важно, когда задача длится гораздо дольше одного разговора".

По словам Джа, система действует как снимки МРТ (магнитно-резонансной томографии) для "мозга" нейросети. Если модель должна выполнять работу медика, то в начале её внутреннее состояние похоже на "мозг врача". Но при следующем "снимке" оно может напоминать, например, "мозг автогонщика". ATLAS сравнивает состояния и вычисляет минимальные изменения, чтобы вернуть систему к исходной задаче. "Агент уже запущен, поэтому вмешательство должно быть очень маленьким, - объясняет Джа. - Снимок не требует переобучения, и агента не нужно останавливать. Если он всё ещё на 99% врач, а на 1% автогонщик, мы убираем этот 1%. Мы не ждём, пока это станет проблемой".

Важно отметить: исследование описывает лабораторную разработку, а не готовый коммерческий продукт. Авторы не утверждают, что система полностью исключает нежелательное поведение ИИ, - речь идёт о методе коррекции отклонений в ходе работы модели.

Источник: Tech Xplore