Команда лаборатории SciFi Корнеллского университета под руководством доцента Чэна Чжана разработала систему EchoMotion, которая определяет положение тела человека по отражённому ультразвуку. Для этого используются встроенные динамик и микрофон обычных умных часов. Работа представлена на конференции UbiComp/ISWC в Шанхае и опубликована в журнале Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies.

В отличие от существующих носимых устройств, которые отслеживают движение только самого гаджета с помощью акселерометров и гироскопов, EchoMotion фиксирует перемещение всего тела. Система посылает неслышимые ультразвуковые сигналы и улавливает их отражения от рук и ног, а затем обученная нейросеть переводит эти эхо-сигналы в трёхмерную позу. Такой подход сохраняет приватность - не нужны камеры - и требует меньше данных для обработки, чем видеотрекинг.

Сначала исследователи собрали данные с 10 добровольцев, которые выполняли 18 упражнений с часами на неведущей руке. Прототип был напечатан на 3D-принтере и имел по паре микрофонов и динамиков с каждой стороны. Точность проверяли, сравнивая предсказанные положения 12 суставов (от головы до щиколоток) с позами, заснятыми камерами.

Затем систему испытали на серийных Samsung Galaxy Watch 6 с 15 новыми участниками. Средняя ошибка в определении положения каждого сустава составила менее 10 сантиметров. Однократная 12-минутная калибровка снизила погрешность более чем на треть - до примерно 6,1 сантиметра. Та же модель без переобучения заработала на Galaxy Watch 7 и Google Pixel Watch 3.

Вне лаборатории 10 новых добровольцев выполняли те же упражнения в небольшой комнате, в узком коридоре и рядом с шумной дорогой. Мебель и посторонний шум не мешали, но в коридоре точность немного упала из-за эха от других людей. Соавтор работы Сайф Махмуд предполагает, что с увеличением объёма данных - от тысяч пользователей вместо десятков - модель научится лучше справляться с людными местами, например метро.

В прототипе датчики потребляли около 12 милливатт - примерно в 40 раз меньше, чем камера носимого устройства. За 30-минутный сеанс на Galaxy Watch 6 расходовалось 5-6% заряда. Сейчас команда развивает технологию для фитнес-трекинга: виртуальный тренер сможет считать повторения и поправлять технику упражнений. Также изучается сочетание EchoMotion с камерами на умных очках для отслеживания предметов, с которыми взаимодействует человек.

Источник: Tech Xplore