Люди общаются не только словами. Поднятая рука, изменение позы или выражение лица помогают передать смысл и эмоции. Теперь исследователи из Университета Тохоку (Япония) и Гонконгского университета разработали систему искусственного интеллекта (ИИ), которая переводит речь в согласованные движения тела, рук и лица. Это может сделать цифровых персонажей и виртуальных ведущих более выразительными и похожими на живых людей.

Система под названием DynaConTalk генерирует трёхмерные (3D) движения человека, соответствующие произносимому тексту. В отличие от подходов, которые создают только отдельные жесты, она координирует разные части тела и сохраняет плавность движения на протяжении длинных речей. Пользователи также могут задавать желаемую позу или приводить примеры движений, чтобы направлять генерацию.

Результаты опубликованы в журнале ACM Transactions on Graphics. Исследование также планируется представить на конференции SIGGRAPH Asia 2026, которая пройдёт в Куала-Лумпуре (Малайзия) с 1 по 4 декабря.

Создавать реалистичные движения всего тела из речи непросто. Крупные изменения позы могут перекрывать мелкие движения, такие как жесты пальцами и мимика, и ИИ-моделям трудно их усвоить. Это приводит к повторяющимся жестам или неестественной дрожи. Другая проблема возникает при соединении отдельно сгенерированных фрагментов движения: иногда появляются заметные скачки скорости или ритма.

Чтобы справиться с этим, DynaConTalk разделяет движение на медленные и быстрые компоненты, сохраняя их синхронизацию. Это похоже на разделение звука на низкие и высокие частоты. Обучаясь на разных типах движения вместе, система улавливает как крупные изменения позы, так и мелкие краткие жесты. Кроме того, она динамически регулирует, насколько полагаться на разные характеристики речи - ритм, особенности голоса и произносимые слова - при генерации движения.

Система также использует информацию о ранее сгенерированных движениях, чтобы направлять следующий фрагмент. Это позволяет сохранять непрерывность на длинных последовательностях, уменьшая резкие переходы и делая движение более естественным во время продолжительных речей.

Исследователи оценивали DynaConTalk на двух общедоступных наборах данных о речи и движении человека - BEAT2 и SHOW. Они также провели исследование, в котором 30 участников сравнивали видео, сгенерированные тремя разными системами, на 15 примерах речи. DynaConTalk получила самые высокие средние оценки по всем четырём категориям: естественность, соответствие произносимому тексту, синхронизация и разнообразие движений. Автоматические оценки дополнительно показали, что её движения ближе к распределению записанных человеческих движений.

Технология может найти применение в анимации персонажей для видеоигр и фильмов, виртуальных ведущих, онлайн-образовании и удалённом общении. Например, создатели могли бы задать начальную позу персонажа или предоставить эталонное движение, а затем позволить ИИ сгенерировать окружающие жесты и выражения. Это даёт более гибкий способ создавать анимированных персонажей, чьи движения дополняют то, что они говорят.

Команда надеется расширить подход на более широкий круг движений всего тела, включая ходьбу. Однако существующие наборы данных содержат относительно мало примеров крупномасштабных движений, а одной речи недостаточно, чтобы определить, как человек должен перемещаться в пространстве. Исследователи планируют изучить более крупные наборы данных о движении и дополнительные указания о траекториях, чтобы преодолеть эти ограничения.

Источник: Tech Xplore