Представьте: в экстренной ситуации человек просит робота-помощника принести дефибриллятор, висящий в коридоре. Но если в памяти робота этот прибор ошибочно записан как огнетушитель, машина может не найти спасительное устройство. Подобные ошибки памяти способны свести на нет пользу от роботов в быту и на производстве.

Исследователи из Массачусетского технологического института (MIT) разработали систему, которая помогает роботу выявлять сомнительные записи в своей памяти и уточнять описания объектов. Работа опубликована на сервере препринтов arXiv и будет представлена на конференции по нейронным системам обработки информации (NeurIPS).

Новый метод под названием UQ-DAAAM (Uncertainty Quantification for Describe Anything, Anywhere, at Any Moment - "количественная оценка неопределённости для описания чего угодно, где угодно и когда угодно") сравнивает несколько описаний одного и того же объекта, полученных с разных точек зрения. Это позволяет роботу оценить, насколько он уверен в том, что увидел. Если уверенность низкая, система выбирает дополнительные ракурсы, чтобы уменьшить неопределённость, и объединяет описания в более точное, которое сохраняет в память.

Метод построен на предыдущей разработке DAAAM - системе памяти робота, использующей визуально-языковую модель (VLM). Такая модель анализирует изображения и генерирует текстовые описания объектов. Робот сохраняет эти подписи в трёхмерной карте окружающей среды и позже может обращаться к ним. Однако если объект виден лишь частично, издалека или на размытом снимке, VLM может ошибиться - например, принять серую трубу на крыше за белку.

UQ-DAAAM добавляет в эту схему количественную оценку неопределённости - статистическую меру того, насколько модель сомневается в своих словах. Система вычисляет уверенность VLM в сгенерированном описании, а затем проверяет его согласованность с подписями к снимкам того же объекта с других ракурсов. Оба показателя объединяются в одно число. Если оно превышает порог, описание признаётся ненадёжным и уточняется с помощью дополнительных кадров.

Чтобы выбрать лучшие ракурсы, исследователи используют эвристику - простое правило, которое подсказывает, какие кадры снизят неопределённость. Учёные математически доказали, что такая эвристика позволяет находить оптимальные кадры без повторного запуска VLM, что резко снижает вычислительную нагрузку. Благодаря этому мобильный робот может обновлять память в реальном времени.

В испытаниях UQ-DAAAM повысила уверенность робота и точность ответов на вопросы об объектах, их местоположении и времени последней встречи. Система устраняла неоднозначность описаний примерно для 92% объектов, требуя всего два дополнительных снимка на объект, и улучшила точность описаний на 5% по сравнению с передовыми методами.

"В отличие от ChatGPT, для физического искусственного интеллекта недостаточно просто предупредить, что робот иногда может ошибаться. Способность робота знать, чего он не знает, будет необходима для безопасного внедрения технологии", - приводит слова старшего автора работы Луки Карлоне пресс-релиз MIT. В дальнейшем исследователи планируют применять метод к другим типам роботов, включая манипуляторы, и распространить оценку неопределённости на смежные задачи.

Источник: Tech Xplore