Роботы ошибаются чаще людей, даже когда выполняют простые домашние или заводские задачи. Одна из причин - им трудно быстро извлекать нужные детали из прошлого опыта и действовать в реальном времени. Даже так называемые визуально-языковые модели (VLM), которые понимают изображения, видео и текст, не всегда помогают.

Недавние подходы использовали ИИ-агентов - полуавтономные программы на основе VLM, решающие, когда роботу анализировать конкретные кадры из длинной истории. Но это приводило к ошибкам, высоким вычислительным затратам и медленной реакции.

Исследователи из Лаборатории компьютерных наук и искусственного интеллекта MIT (CSAIL) и факультета машинного обучения Университета Карнеги - Меллона предложили подход Workspace Models. Вместо того чтобы искать данные на лету, большие VLM выполняют рассуждения заранее, в автономном режиме. В ходе этого процесса они обучают компактный модуль - собственно Workspace Model, - который позволяет роботизированной руке, например, планировать следующее движение за миллисекунды в ответ на изменения обстановки. Работа опубликована на сервере препринтов arXiv.

Workspace Model учится запоминать ключевые детали, преобразуя историю наблюдений в многомерные точки данных - "латентные векторы", которые кодируют информацию, полезную для предсказания будущих действий. При обучении задействованы две VLM: одна просматривает видео, другая извлекает пространственные данные из изображений. Workspace Model сжимает наблюдения в латентные векторы с этой "значимой" информацией, а затем обучает ещё одну небольшую модель - политику, предсказывающую действия по этим векторам.

На этапе тестирования Workspace Model и политика работают вместе, обеспечивая быструю реакцию на то, что видит камера робота. VLM как бы передали "мышечную память" более лёгкой модели. Робот может быстро положить кубик обратно в ящик, просто реагируя на изменения визуальных и позиционных входных данных.

Ведущий автор Нитиш Дашора из CSAIL отмечает, что система даёт значительное улучшение задержки - времени реакции робота - по сравнению с агентными подходами. В экспериментах, виртуальных и реальных, на роботизированной руке система успешно подбирала и убирала кубики примерно в 92% случаев - примерно на 25 процентных пунктов выше, чем следующий лучший подход, использовавший агента для поиска ключевых кадров. Среди моделей, способных к рассуждениям с долговременной памятью, система Workspace Models оказалась самой быстрой.

По словам исследователей, такой подход может пригодиться в динамичной среде, например на кухне, где роботу нужно быстро вспоминать важные детали при выполнении задач, требующих памяти. Учёные также предполагают, что ИИ-агенты могли бы выступать в роли "мета-обучателей", выбирая, какие навыки "мышечной памяти" передать роботу, вместо того чтобы напрямую управлять им.

В дальнейшем команда планирует повысить эффективность и точность системы: сейчас она обрабатывает длинные последовательности входных данных, что увеличивает вычисления, но рекуррентный подход мог бы снизить нагрузку. Кроме того, для улучшения пространственного понимания и выполнения задач исследователи намерены обучать Workspace Model на специализированных для робототехники VLM.

Источник: Tech Xplore