Событийные камеры, имитирующие сетчатку глаза, десятилетиями обещали переворот в робототехнике: они фиксируют изменения освещённости непрерывно и позволяют роботам реагировать быстрее обычных камер. Однако данные с таких сенсоров выглядят как хаотичный поток точек, а не привычные изображения, и их обработка требовала отдельных алгоритмов под каждую задачу.

Инженеры из Пенсильванского университета (США) представили Fast Feature Field, или F3 - универсальный вычислительный инструмент, который эффективно преобразует десятки миллионов сигналов в секунду в информацию, пригодную для разных роботов. Работа опубликована в журнале Science Robotics.

Обычные камеры записывают полные кадры через равные промежутки времени, например 30 кадров в секунду. Событийные же камеры, как фоторецепторы сетчатки, реагируют на изменения света и сообщают, когда участок стал ярче или темнее. Но, в отличие от биологического глаза, у них не было общего способа выделять значимые закономерности из собственных данных. Без этого сигналы слишком зашумлены и объёмны для прямого использования.

Сначала исследователи пытались применить математические методы сжатия визуальной информации, но после месяцев экспериментов поняли, что надёжного подхода нет. Тогда они решили обучить нейросеть - форму искусственного интеллекта, которая учится на данных, - самостоятельно находить способ суммирования сигналов. Ключом стала задача предсказания: чтобы предугадывать будущие события по прошлым, сеть должна усвоить и структуру сцены, и движение в ней. Так F3 научилась выявлять закономерности без отдельного алгоритма под каждую задачу.

Оставалась проблема скорости. Оказалось, что примерно 95% возможных позиций в данных не содержат событий - большинство пикселей в любой момент молчат. Это позволило выполнять вычисления только там, где события реально происходят, пропуская пустое пространство.

В испытаниях на данных с автомобилей, четвероногих роботов и дронов в разных условиях - от ночных улиц до людных помещений - подходы на основе F3 показали высокую точность. Алгоритмы с F3 работали примерно в два-пять раз быстрее прежних, а сам инструмент обрабатывал данные высокой чёткости 120 раз в секунду (или 440 раз в секунду при более низком разрешении VGA).

Авторы сравнивают F3 с форматами сжатия JPEG и MPEG, которые упростили обмен изображениями между устройствами: инструмент даёт событийным камерам общий язык, преобразуя их сигналы в формат, совместимый с существующим программным обеспечением для обычных камер. В дальнейшем исследователи надеются встроить F3 прямо в электронику камеры, чтобы работа с ней была такой же простой, как с обычной. Пока это лабораторная разработка, о коммерческом продукте речь не идёт.

Источник: Tech Xplore