Робот научился синхронизировать движения губ с речью в реальном времени

Существующие системы генерации мимики у роботов работают реактивно: они копируют выражение человека после того, как оно уже появилось на его лице. Это выглядит неестественно и ограничивает эмоциональное взаимодействие, например, улыбки. Такие сигналы важны для формирования доверия и коммуникации.

Новая система использует двойную нейронную сеть: одна модель прогнозирует собственные выражения робота, другая — предвосхищает мимику человека. Для обучения использовались 970 видеороликов от 45 участников. Прогностическая модель работает со скоростью 650 кадров в секунду, а обратная модель управления моторами — со скоростью 8000 fps, что позволяет роботу генерировать выражения лица всего за 0,002 секунды. Для сравнения, человеческая мимика занимает в среднем 0,841 ± 0,713 секунды, что даёт роботу достаточно времени для синхронизации.

Эти технологии интегрированы в антропоморфного робота Emo, построенного на базе платформы Eva. Emo оснащён 26 актуаторами для асимметричных выражений лица (против 10 у Eva) и тремя моторами для движения шеи. Лицевая часть робота использует магниты для деформации сменной кожи, что обеспечивает более точное управление по сравнению с тросовым приводом Eva. Встроенные RGB-камеры в глазах робота позволяют воспринимать мимику человека в реальном времени и улучшать прогнозирование выражений.

Тестирование показало точность системы: анализ 2354 команд выявил правильное предсказание активации выражений лица в 72,2% случаев, с положительной прогностической ценностью 80,5%. Динамика мимики оценивалась через евклидово расстояние между лицевыми ориентирами. Прогностическая и обратная модели позволили роботу синхронизировать свою мимику с выражениями лица человека.

Особое внимание уделено языковому разнообразию. Система способна генерировать движения губ на 11 языках с различной фонетической структурой, отличной от английского, что демонстрирует способность к обобщению вне обучающих данных.

Команда исследователей видит потенциал применения этой технологии в образовании, уходе за пожилыми людьми и других сферах, где важна эмоциональная коммуникация. По словам ученых, предвидение человеческой мимики и создание реалистичных выражений лица — шаг к социальному развитию роботов и их интеграции в человеческое общество.