Российским разработчикам удалось “оживить” Монро, Дали, Достоевского и Мону Лизу

Российским специалистам, работающим в компании Samsung и в Сколковском институте науки и технологий, удалось буквально «оживить» фотографии, портреты и картины, наделить их движениями и даром речи. Чтобы создать модель говорящей головы, специалистам нужно было нейронную сеть сначала учить с помощью череды кадров с изображением различных людей. После этого алгоритм можно было использовать для оживления конкретного портрета. Для обучения нейросети в качестве входных данных использовались интервью со знаменитостями. Благодаря уникальной маске можно переносить информацию между объектами, используя при этом всего один или два кадра. Созданную маску накладывают на говорящую голову, а после создаются границы лица и базовая мимика. Связь маски с исходным видеорядом сохраняется в виде вектора, благодаря чему маска может быть перенесена на отдельные изображения лиц. Эта система позволила российским разработчикам переносить информацию между двумя объектами, используя лишь один или два кадра. В итоге ученые смогли оживить изображения Мэрилин Монро, Сальвадора Дали, Федора Достоевского и других выдающихся людей. Даже Мона Лиза теперь не похожа на столь загадочную женщину, а наоборот, похожа на непоседливую молодую девушку, которая вертится из стороны в сторону. Отметим, что на протяжении последних десяти лет многие ученые из разных стран пытались создать нечто подобное. Однако сделать то же самое на основе 16, 8 или даже одного кадра до этого момента никому не удавалось. Как рассказывают специалисты, придать реалистичности образу очень тяжело. Во-первых, человеческая голова обладает рядом сложных параметров и пропорций, поэтому разработчики начинают сталкиваться с трудностями уже в процессе обычного моделирования лица. Во-вторых, это восприятие зрителя. Если ему покажется, что робот чересчур нереалистичен, дальше смотреть результаты эксперимента уже не захочется. Поэтому ошибок быть не должно.