Нейросети NeRF и LERF научились генерировать невероятное 3D-видео из любого ролика

Компания nVidia совместно с исследователями из Калифорнийского университета в Беркли и Калифорнийского университета в Сан-Диего представила систему «Language Embedded Radiance Field» или LERF. Она стала дополнением к запущенной год назад платформе Neural Radiance Field (NeRF). NeRF создает видеоизображения любой сложности, а LERF помогать управлять этим инструментом при помощи естественного человеческого языка вместо специальных команд.

Потенциал данных систем настолько велик, что даже их создатели не берутся предсказать, насколько изменится мир через несколько лет благодаря их творению. NeRF умеет на основе видео с любой цифровой камеры создавать 3D-сцены, которые можно рассматривать под любыми углами. Платформа использует различные доступные версии ИИ в своей работе – отсюда реалистичность картинки.

LERF гораздо сложнее, данная система помогает ИИ сопоставлять визуальные данные с разными терминами. В перспективе она станет базой для нового типа машинного зрения, когда ИИ будет настолько хорошо понимать суть поставленной задачи, что сможет выполнить ее при любом уровне помех.

Источник — Luma Labs