Google изобрела сразу два ИИ для создания видео из текстового описания
В первой половине 2022 года компания OpenAI представила свою новейшую нейросетевую модель — DALL-E 2. Её основная функция — создание качественных изображений на основе текстового описания.
Но то статичные изображения. Google решила пойти дальше и создала сразу два новых ИИ, которые генерируют из текста полноценные видео. Первая называется Imagen Video, а вторая — Phenaki.
Сообщается, что Imagen Video ориентирована на создание коротких анимаций. Причём лучше всего у неё получаются простенькие варианты, такие как движения растений, образующих словосочетание «Imagen Video» или деревянная фигурка, движущаяся на серфе в космосе:
В свою очередь Phenaki фокусируется уже на создании более длительных видео. Для этого модели «скармливаются» достаточно крупные полотна текста. Так, из
Много трафика в футуристическом городе. Инопланетный космический корабль прибывает в футуристический город. Камера попадает внутрь инопланетного космического корабля. Камера движется вперед, пока не показывает астронавта в синей комнате. Астронавт печатает на клавиатуре. Камера отходит от астронавта. Астронавт бросает клавиатуру и уходит. Камера выходит за пределы астронавта и смотрит на экран.
На экране за астронавтом изображены рыбы, плавающие в море. Увеличьте изображение синей рыбы. Мы следуем за голубой рыбой, когда она плавает в темном океане. Камера указывает на небо через воду. Океан и береговая линия футуристического города. Аварийный зум к футуристическому небоскребу.
Камера приближается к одному из многих окон. Мы находимся в офисной комнате с пустыми столами. Лев бежит поверх офисных столов. Камера приближается к лицу льва в офисе. Увеличьте изображение льва в темном костюме в офисной комнате. Одетый лев смотрит в камеру и улыбается. Камера медленно уменьшается до внешнего вида небоскреба. Таймлапс заката в современном городе
можно получит следующую анимацию:
Как и в случае с DALL-E 2 или иными подобными моделями, уже совсем скоро можно будет увидеть революционный скачок качества получаемых через Imagen Video или Phenaki роликов.