05 июня 2023

Плюс один: NVIDIA представила новую модель ИИ — Neuralangelo

Нейросеть может создавать 3D-копии объектов из 2D-видео, будь то классические скульптуры или обычные грузовики и здания.

Фото: NVIDIA

Американская технокомпания NVIDIA запускает ИИ платформу для создания 3D-моделей объектов из видео. Ее назвали Neuralangelo, в честь итальянского скульптора Микеланджело. Нейросеть превращает 2D-видеоклипы в подробные 3D-структуры, создавая реалистичные виртуальные копии зданий, скульптур и других объектов реального мира со сложными деталями и текстурами.

Используя 2D-видео объекта или сцены, снятой с разных ракурсов, модель выбирает несколько кадров, которые захватывают разные точки зрения — подобно художнику, рассматривающему объект с разных сторон, чтобы получить ощущение глубины, размера и формы. После определения положения камеры в каждом кадре ИИ Neuralangelo создает грубое трехмерное представление сцены, подобно скульптору, начинающему высекать форму объекта. Затем модель оптимизирует визуализацию, чтобы сделать детали более четкими.

Специалисты смогут использовать готовые виртуальные объекты для своих проектов, в создании приложений виртуальной реальности, цифровых двойников или разработке робототехники.

По словам компании, новая модель переняла технологию своей старой, Instant NeRF , однако способность Neuralangelo захватывать сложные текстуры, такие как шероховатость черепицы и гладкость мрамора, значительно превосходит предыдущие методы, создавая 3D-сцены в течение двух часов.

Возможности 3D-реконструкции, предлагаемые Neuralangelo, будут огромным преимуществом для создателей, помогая им воссоздавать реальный мир в цифровом. Этот инструмент в конечном итоге позволит разработчикам импортировать детализированные объекты — будь то небольшие статуи или массивные здания. Эта технология может создавать крупномасштабные виды из кадров с дронов, что облегчает разработчикам воссоздание реальных локаций в своих играх. У него есть много других потенциальных применений, в том числе в робототехнике, виртуальной реальности, архитектуре и, конечно же, искусстве.

сказал Минг-Ю Лю, старший директор по исследованиям NVIDEA