Роботу важно не только научиться выполнять задачу, но и не выходить за разумные рамки. До сих пор инженерам приходилось выбирать: либо обучение с подкреплением (метод, при котором робот осваивает поведение через пробы и ошибки, как в игре "горячо-холодно"), либо гарантии устойчивости. Исследователи из инженерного колледжа Грейнджера Иллинойсского университета в Урбане-Шампейне объединили оба подхода.

Работа "Contraction-Aware Reinforcement Learning for Nonlinear Control with Statistical Robustness" опубликована в IEEE Transactions on Robotics. Авторы - Минджэ Чо, Хироясу Цукамото и Хью Т. Тран.

"Обучение с подкреплением даёт роботам многообещающий способ осваивать эффективное поведение, но часто не хватает гарантий устойчивости, - говорит аспирант Минджэ Чо. - Без уверенности, что робот останется стабильным, развернуть его на практике сложно. В худшем случае он может сломаться, и ремонт обойдётся дорого".

Новый метод получил название CARL (Contraction-Aware Reinforcement Learning - обучение с подкреплением с учётом сжатия). Он сочетает обучение с подкреплением с теорией сжатия. Эта математическая теория позволяет задать пределы, в которых могут меняться ошибки отслеживания: небольшие отклонения возможны, но метод гарантирует, что они не превысят определённых границ. Благодаря этому обучение с подкреплением может выступать основным контроллером робота, не теряя устойчивости.

Чо начал с симуляций, а затем перешёл в лабораторию аэрокосмической инженерии, где испытал CARL на реальных роботах. "Модель в компьютере и физический робот различаются. Например, в симуляторе масса 1 кг, а в реальности - 1,2 кг. Это называют разрывом между симуляцией и реальностью, но наш алгоритм показал себя лучше при таких неопределённостях", - поясняет исследователь.

Эксперименты провели с тремя типами роботов: колёсным TurboBot 3 Burger, машущим летающим дроном и шестиногим Jethexa. Видео с наложением траекторий старых алгоритмов и CARL показывает, что новый метод стабильнее удерживает роботов на курсе и быстрее приводит к цели.

"Не было гарантии, что наш метод сработает лучше существующих, особенно с учётом усложнения роботов. Но оказалось, что интеграция двух подходов не только нова, но и даёт стабильно лучший результат - до 15% - как в симуляции, так и в реальных испытаниях", - отмечает Чо.

Одно из возможных применений - борьба с лесными пожарами: роботов можно отправлять в опасные зоны для поиска очагов возгорания или доставки грузов. Код CARL открыт и доступен на GitHub.

Источник: Tech Xplore