Чтение по губам - сложная задача, особенно когда вокруг шумно. Но исследователи из Корейского института передовых технологий (KAIST) нашли способ улучшить ее с помощью искусственного интеллекта. Новая система сначала распознает слова, в которых уверена, а затем использует их как подсказку для расшифровки неоднозначных частей фразы.

Технология может пригодиться там, где звук недоступен или искажен: например, чтобы превратить в текст речь, заглушаемую шумом, или помочь людям с нарушениями слуха следить за разговором.

Группа под руководством профессора Ён Мана Ро с факультета электротехники разработала метод, повышающий точность визуального распознавания речи (VSR) - так называют преобразование движений губ в текст. В основе лежит диффузионная большая языковая модель (DLLM). Она строит предложение, постепенно заполняя пропуски, и может учитывать слова как до, так и после неясного места. Работа выложена на сервере препринтов arXiv (препринт - научная статья, опубликованная до рецензирования).

Сложность в том, что разные звуки порой выглядят на губах почти одинаково. В английском, например, /p/, /b/ и /m/ практически неразличимы по видео. Обычные модели генерируют слова строго по порядку, и ошибка в начале предложения тянет за собой следующие. Корейские ученые изменили порядок: сначала распознаются фрагменты с наиболее четкой артикуляцией, а затем они служат контекстом для остальных позиций.

Обучение модели разделили на два этапа. Сначала она учится сопоставлять движения губ на видео с текстом, затем - оценивать вероятную длину предложения. При расшифровке модель подбирает несколько вариантов длины, строит для каждого предложение-кандидат и выбирает наиболее надежный, исходя из правдоподобия длины и уверенности в словах.

Для тренировки использовали набор LRS3 - 433 часа видео с чтением по губам, снабженных точными расшифровками. Доля ошибок в словах (word error rate, то есть процент неверно распознанных, пропущенных или добавленных слов) составила 19,4%. Это лучший результат среди методов, которые обучались только на LRS3. Чем ниже этот показатель, тем точнее система.

В перспективе технологию можно встроить в инструменты коммуникации: например, на шумном производстве она подскажет, что говорит рабочий, или поможет слабослышащим. Команда планирует уменьшить размер модели и вычислительные затраты, чтобы запускать ее на носимых устройствах и роботах без интернета. О сроках выхода продукта речи не идет.

"Исследование ценно тем, что показывает: гибкое управление порядком генерации слов само по себе преодолевает фундаментальное ограничение распознавания речи, связанное с визуальной неоднозначностью", - приводит слова Ро пресс-релиз. Он также отметил, что работа заложит основу для физического ИИ, которому люди смогут доверять в быту и на производстве.

Первый автор - доктор Чон Хун Ё из той же школы, соавторы - аспиранты Чхэ Вон Ким и Хёнсоп Ра, Ро - автор-корреспондент.

Источник: Tech Xplore