Незрячий мужчина наводит телефон на сковороду и спрашивает: "Сосиски уже коричневые?" Приложение отвечает вслух, что местами они ещё розоватые. Он делает новый снимок и переспрашивает - всего около четырёх раз, пока еда не будет готова. Но на самом деле ему нужно было не повторять вопрос, а получить совет: "Может, они всё ещё розовые - перемешайте и подождите минут пять".

Этот человек стал одним из 11 участников исследования Университета Мэриленда (UMD), представленного на конференции ACM по человеческому фактору в вычислительных системах. Все участники идентифицируют себя как незрячие. Учёные хотели понять, насколько они могут управлять ответами приложения с искусственным интеллектом (ИИ), которое описывает фотографии, и что делают, когда ответ не подходит.

"Мы видим, что такие системы всё лучше генерируют описания, но без эффективного учёта намерения пользователя эта способность часто превращается в длинные ответы вместо полезных", - говорит соавтор Херниса Кацорри, доцент Колледжа информации UMD.

В исследовании участвовали также Хэл Дауме III, профессор компьютерных наук и директор Института надёжного ИИ в праве и обществе (TRAILS), Фарназ Замири Зераати, Юэхань Цяо и Ян Триста Цао.

Приложение Be My AI - часть сервиса Be My Eyes, который с 2015 года соединяет незрячих и слабовидящих людей со зрячими волонтёрами через камеру телефона. Be My AI, появившееся в 2023 году, отвечает на вопросы о фото мгновенно, без участия человека.

Участники осваивали приложение в лаборатории, затем пользовались им в повседневной жизни 10 дней и afterwards обсуждали опыт с исследователями. Команда проанализировала 418 диалогов с приложением. Выяснилось, что участники обычно задавали вопросы длиной 10-20 слов. Ответы же приложения содержали более чем в 10 раз больше слов, а разговоры иногда растягивались до 21 обмена репликами. Для незрячих это утомительно, потому что ответы читаются вслух: приходится выслушивать всё, чтобы найти одну полезную деталь, и спрашивать снова.

Часть проблемы заложена в саму систему. Be My AI, как и многие подобные ассистивные приложения, начинает каждый диалог с полного описания фотографии, а не с той части сцены, о которой спросил пользователь. Более половины участников назвали это серьёзной проблемой. "Мне выдали кучу информации, которая мне была не нужна", - сказал один пользователь, который всего лишь хотел найти ключи.

"Мы по-прежнему просим незрячих пользователей делать большую часть работы по выяснению того, какая информация действительно важна, - говорит Цяо. - В ситуациях, когда время ограничено, это может не только задерживать действие, но и создавать угрозу безопасности".

Люди приспосабливаются к ограничениям приложения. Когда простых вопросов не хватало, они проявляли изобретательность: один объяснял приложению, зачем задаёт вопрос. Другая сфотографировала кухню и написала: "Я хочу переделать кухню, нужны предложения". По словам одного участника, если назвать цель, это "резко сужает коридор... и вы быстрее добираетесь до финиша".

Они также дробили большие задачи на маленькие вопросы. Одна женщина, проверяя тесто для хлеба, спрашивала о его размере, поверхности, пузырьках воздуха и муке по отдельности. Это заняло больше времени, но было "единственным способом убедиться, что всё на 100% правильно".

Исследователи подчёркивают: хотя участники показали умение решать проблемы, возиться с технологиями и адаптировать их, пользователи не должны полагаться на эти навыки, чтобы получить пригодный ответ. Сложная стратегия запросов - "обходной путь для существующего ограничения технологии".

Источник: Tech Xplore