16世纪的米开朗基罗重生了！英伟达团队提出Neuralangelo，从2D视频重建3D大规模场景，将5.5米大卫雕像完美复刻。

　　快看，Neuralangelo「复刻」出3D版的闻名雕像大卫，大理石的细节、纹路绘声绘色。

　　要知道，收藏在佛罗伦萨美术学院的大卫雕像，仅身高3.96米，加上基座都有5.5米。

　　它乃至能够重建一栋修建物的内外部结构，房顶瓦片、玻璃窗格、还有各种细节都逐个再现。

　　来自英伟达和约翰霍普金斯大学的研讨人员提出的新式AI模型，运用神经网络重建3D物体。

　　特别是，Neuralangelo能够从手机视频，无人机拍照的视频重建「高保真的大规模场景」。

　　那岂不是未来，就能轻易地把一座城市、乃至外太空的视频，变成一个沉溺式的国际，再装进游戏去体会。

　　乃至，还有人称，苹果XR技能，再加上Neuralangelo，就能发明「new worlds」了。

　　曾经的AI模型在重建3D场景时，往往难以精确捕捉到重复的纹路形式、均匀的色彩以及激烈的色彩改变。

　　为此，团队提出了一个将多分辨率3D哈希网格的表征才能和神经外表烘托相结合的全新办法——Neuralangelo。

　　上一年，英伟达研讨人员曾发明了一种新东西3D MoMa，将相片变成3D物体一挥而就。

　　NeuralAngelo建立在这一概念的基础上，答应导入更大、更具体的空间和目标。而它特别之处在于，能够精确捕捉重复的纹路形式、同质的色彩和激烈的色彩改变。

　　经过选用「即时神经图形基元」，也便是NVIDIA Instant NeRF技能的中心，Neuralangelo由此能够捕捉更纤细的细节。

　　即便没有辅佐深度，Neuralangelo也能有效地从多视图图画中康复密布3D外表结构，其保真度明显超过了以往的办法，使得能够从RGB视频捕捉中重建具体的大规模场景。

　　NeuralAngelo模型是在多分辨率哈希编码，以及根据SDF的体积烘托上进行构建。

　　经过运用与哈希网格空间分辨率匹配的步长的数值梯度，能够优化逾越部分单元。与解析梯度比较，数值梯度对SDF起到了滑润操作的作用。

　　经过逐渐减小数值梯度的步长，并启用更高分辨率的哈希网格，优化的作用能够更好地康复大面积的润滑外表和精密的几许细节。这种学习进程能够逐渐进步细节的层次感。

　　· 首要，模型会从2D视频中挑选几帧从不同视点拍照的物体/场景的画面，并由此「看到」其深度、巨细和形状。这个进程就像雕塑艺术家一开端会从多个视点构图那样。

　　· 然后，模型会创立一个粗糙的3D场景表征，就像艺术家开端凿刻主体的形状。

　　· 终究，模型会优化烘托以进步细节的清晰度，就像艺术家经过精心肠润饰来仿照织物或人形的纹路。

　　在DPU基准定性比较中， Neuralangelo发生更精确和更高保真度的外表。

　　如下是Neuralangelo在DTU数据会集的定量成果，模型获得了很好的重建精度和图画组成质量。

　　在不同的从粗糙到精密优化计划定性比较中，当运用剖析梯度AG和AG+P，物体粗糙外表还有伪影。

　　终究的成果是一个能够在虚拟现实运用、数字孪生或机器人开发中运用的3D物体或大规模场景。

　　英伟达表明，Neuralangelo将杂乱资料的纹路，包含房顶瓦片的粗糙度、大理石的润滑度，从2D视频转化为3D物体的才能，明显逾越了以往的办法。

　　英伟达研讨部高档主任、论文作者Ming-Yu Liu对这项研讨的含义给出了想象：

　　「Neuralangelo供给的3D重建才能将给创作者带来巨大优点，协助他们在数字国际中重建实在国际。这个东西终究将使开发人员能够将精密的物体——不论是小型雕像，仍是大型修建——导入视频游戏或工业数字孪生的虚拟环境中。

　　构思的专业人士能够将这些3D目标导入到规划运用中，进一步修改，以供艺术、电子游戏开发、机器人技能和工业数字孪生等范畴运用。