Независимая некоммерческая организация Model Evaluation and Threat Research (METR) из Беркли (Калифорния) проанализировала внутренние данные компании Anthropic и обнаружила, что та улучшает возможности своих моделей искусственного интеллекта примерно вдвое быстрее, чем годом ранее. Отчёт опубликован в четверг.

Anthropic предоставила исследователям доступ к внутренним данным за период около 11 недель - с середины августа по конец октября - и разрешила интервью с сотрудниками. По словам METR, это был "беспрецедентный доступ" к процессу разработки ИИ. Компания готовится к выходу на биржу, который, как ожидается, может стать крупнейшим первичным размещением акций (IPO) в истории.

Исследователи сосредоточились на двух вопросах: ускорился ли темп роста внутренних возможностей Anthropic и какую роль в этом сыграл сам ИИ. METR оценила, что компания улучшает модели в задачах с чётко определёнными условиями примерно в два раза быстрее, чем год назад. При этом, по мнению группы, значительная часть ускорения объясняется помощью ИИ: Anthropic ранее сообщала, что её чат-бот Claude всё активнее участвует в создании более совершенных версий самого себя.

В отчёте есть важные оговорки. METR признаёт, что может переоценивать результат: ускорение способно ограничиваться только "хорошо специфицированными задачами" - теми, что можно автоматически проверить или оценить с помощью языковой модели, - и не распространяться на "грязные" задачи, которые сложнее формализовать. Кроме того, не исключено, что Anthropic занижала прежние достижения, из-за чего нынешний показатель выглядит выше. Тем не менее исследователи "уверенно" исключили рост вычислительных мощностей, используемых для обучения моделей, как причину ускорения. Обычно объём вычислений (compute) напрямую связан с качеством работы модели, но здесь, по мнению METR, дело в другом.

Группа также изучила публичный отчёт Anthropic о рисках, опубликованный в августе, его закрытую версию и другие непубличные данные. Вывод: публичная версия "в целом преуменьшает уровень происходящего ускорения".

Отдельно METR отмечает: компания внесла правки в отчёт, которые ограничили возможность группы сообщить более детальные оценки ускорения; внутри команды METR были разногласия и неопределённость, но в целом организация считает, что темп улучшений удвоился. "Anthropic, похоже, добилась за последний год такого же прогресса в тестах, как и в период с октября 2023 по октябрь 2025 года", - говорится в отчёте.

Исследователи предупреждают о потенциальном риске: если ИИ начнёт улучшать сам себя, ускорение может накапливаться. Особую тревогу вызывает то, что они не обнаружили "узких мест" - ограничений по вычислительным мощностям или данным, - которые сдерживали бы прогресс Anthropic. Правда, по словам METR, ИИ пока не способен вносить "высокозначимый и полностью автономный вклад" в самые важные части процесса обучения моделей. Однако сотрудники Anthropic описывали "признаки жизни", указывающие на то, что это может произойти скоро.

Любопытно, что именно в период оценки глава Anthropic Дарио Амодеи призвал отрасль замедлить темпы. В эссе от 12 сентября он urged ИИ-сообщество "замедлить скорость, с которой мы улучшаем возможности моделей ИИ". Амодеи также высказывался за привлечение внешних оценщиков внутрь ведущих ИИ-лабораторий и называл METR подходящим независимым оценщиком.

METR финансируется за счёт пожертвований и не берёт плату за свою работу, но компании, с которыми она сотрудничает, предоставляют доступ и токены - единицы обработки текста, используемые для оценки, исследований и инженерии. Anthropic на запрос о комментариях оперативно не ответила.

Источник: Tech Xplore