Человекоподобные роботы, то есть машины с телом, похожим на человеческое, могли бы выполнять работу по дому и другие ручные задачи. Но чтобы справляться с ними, роботам нужно точно согласовывать движения, позу и захват предметов. Один из способов научить их этому - показать, как задачу выполняет человек, и записать его действия на видео и датчики. Однако собрать такие данные, пригодные для обучения алгоритмов, непросто.

Группа исследователей из Шанхайской лаборатории искусственного интеллекта, Чжэцзянского университета и Шанхайского университета Цзяо Тун разработала носимую систему для записи движений и создала на её основе набор данных EgoExplorer. Статья опубликована в виде препринта на arXiv, то есть до прохождения рецензирования.

Система включает камеру GoPro HERO13 на голове, пять трекеров VIVE Ultimate (устройства, отслеживающие положение и ориентацию в пространстве), сенсорные перчатки MANUS Metagloves или Wuji, а также напечатанные на 3D-принтере крепления и ремни. Камера снимает происходящее от первого лица. Трекеры крепятся на голове, тыльной стороне каждой кисти и на каждой лодыжке. Перчатки фиксируют движение пальцев, а модель Wuji ещё и тактильные ощущения - данные о контакте и давлении.

С помощью этой системы авторы записали 100 часов данных, пока люди выполняли разнообразные задачи, с акцентом на профессиональную деятельность. В датасете EgoExplorer видео от первого лица объединено с восстановленной трёхмерной моделью движения всего тела, тонкой моторикой пальцев и тактильными наблюдениями. Каждый шаг задачи сопровождается текстовым описанием.

Чтобы по разреженным данным с пяти трекеров восстановить движение всего тела, исследователи создали программную цепочку Calibrate-Complete-Constrain (калибровка - дополнение - ограничение). Сначала система калибруется под конкретного человека и расположение датчиков, затем предсказывает движения суставов, которые не отслеживались напрямую, опираясь на выученные закономерности, и наконец проверяет, что восстановленные движения согласуются с показаниями датчиков, остаются плавными и соответствуют телосложению.

По сравнению с другими методами восстановления движений новый подход снизил ошибку положения точек тела на 71,9% относительно лучшего из сравниваемых вариантов. В предварительных экспериментах по обучению совместное использование видео, движений и тактильных данных давало лучшие результаты, чем по отдельности. Также исследователи обучили контроллер для симулированного человекоподобного робота Unitree G1 повторять два записанных человеческих движения. Робот в симуляции выполнил обе последовательности без падений, но точное взаимодействие с предметами и работу на незнакомых задачах это не подтверждает. На реальном роботе система не проверялась.

Авторы отмечают, что в будущем EgoExplorer может пригодиться для обучения других контроллеров в симуляции, а затем, возможно, и для улучшения работы роботов в реальных условиях. Однако до готового продукта или массового применения ещё далеко.

Источник: Tech Xplore