Многие повседневные дела мы привыкли выполнять двумя руками: например, чтобы открыть бутылку, одной рукой держим её, а другой крутим крышку. Исследователи из Калифорнийского университета в Сан-Диего разработали EgoThumb - роботизированный большой палец, который крепится на руку и может взять на себя часть работы, позволяя справиться с некоторыми задачами одной рукой. Статья опубликована на arXiv как препринт, то есть до прохождения рецензирования.

Система включает миниатюрную широкоугольную камеру у ладони. Она непрерывно снимает руку, сам роботизированный палец и окружающие предметы. Эти изображения анализирует алгоритм искусственного интеллекта (ИИ), обученный планировать движения пальца. ИИ - это программа, которая учится на примерах и затем принимает решения.

Роботизированный палец имеет три сустава, каждый из которых приводится в движение парой сухожилий - одно сгибает, другое разгибает. Моторы закреплены на предплечье, чтобы не утяжелять кисть. Учёные хотели, чтобы палец сам решал, когда захватить или отпустить предмет, ориентируясь на изображения с камеры и информацию о положении суставов.

ИИ-модель обучали методом имитации: человек управлял роботизированным пальцем через ножной интерфейс, создавая обучающие примеры. После обучения модель предсказывает движения пальца непосредственно по изображениям с камеры и текущим углам суставов, без явных команд пользователя. В прототипе ИИ работает на внешнем компьютере, подключённом к устройству.

В лабораторных экспериментах три добровольца выполняли четыре задачи: поднять кубик, открутить крышку бутылки, размешать чай и перенести мяч с одного места на другое. Во всех случаях дополнительный палец помогал справиться одной рукой. Например, когда пользователь тянется к бутылке, EgoThumb автоматически захватывает и стабилизирует её, а пальцы пользователя откручивают крышку.

Исследователи также проверили работу с разными людьми и в разных условиях. Два новых участника и первоначальный демонстратор показали сопоставимые результаты, когда предметы находились в тех же зонах, что и при обучении. Средняя успешность по четырём задачам при 10 попытках на задачу для каждого пользователя составила 90% у демонстратора, 92,5% и 87,5% у двух новых участников. В отдельном тесте с размешиванием чая в двух ранее не встречавшихся условиях средняя успешность трёх пользователей составила примерно 67% и 73% соответственно. Когда зоны, где находились или должны были оказаться предметы, расширили, результаты на некоторых задачах снизились.

Авторы подчёркивают: речь идёт о раннем прототипе, а не о готовом продукте. Аппаратные проекты и программное обеспечение EgoThumb открыты, и другие разработчики могут получить к ним доступ на сайте проекта. В планах - сделать палец компактнее и удобнее, улучшив интеграцию камеры, а также добавить тактильные датчики, чтобы роботизированный палец мог ощущать прикосновение к предметам и корректировать захват.

Источник: Tech Xplore