Nvidia создала искусственный интеллект, который превращает 2D-видео в 3D-модели

NVIDIA представила новую модель искусственного интеллекта под названием Neuralangelo, которая может создавать 3D-копии объектов из 2D-видео, будь то классические скульптуры или обычные грузовики и здания. Об этом сообщает Nvidia.

Neuralangelo работает, выбирая несколько кадров, показывающих объект с разных углов в 2D-видео, чтобы получить четкое представление о его глубине, размере и форме. Затем он создает грубое 3D-представление объекта, прежде чем оптимизировать его, чтобы имитировать детали реальной вещи.

В компании говорят, что новая модель переняла технологию от предыдущей модели Instant NeRF, чтобы иметь возможность точно передавать мельчайшие детали того, что пользователь хочет воспроизвести в 3D. Сюда входят текстуры, узоры и цвета. NVIDIA говорит, что способность Neuralangelo передавать сложные текстуры, такие как шероховатость черепицы на крыше и гладкость мрамора, значительно превосходит предыдущие методы. Очевидно, она даже позволяет создавать виртуальные объекты с видео снятых смартфонами, что может дать создателям простой способ генерировать 3D-воспроизведение для своих проектов.

Минг-Ю Лю, соавтор статьи о Neuralangelo, сказал, что это позволит разработчикам импортировать детализированные объекты – будь то маленькие статуи или массивные здания – в виртуальные среды для видеоигр или промышленных цифровых двойников.

Исследовательское подразделение компании представит Neuralangelo на Конференции по компьютерному зрению и распознаванию образов, которая состоится с 18 по 22 июня в Ванкувере.