10月18日周一消息,一段木船视频在外网掀起波澜,之所以可以如此火爆,不是因为它拍的有多美轮美奂,而是在于它是"真"的。
据悉,这是由德国埃尔朗根-纽伦堡大学的几位研究人员做的项目,它是由一组照片渲染出来的,不仅仅是一段视频,更是一个由照片渲染而来的能任意角度随意切换、高清无死角、能调节曝光、白平衡等参数的3D场景模型。
关于这段视频的拍摄过程,它是项目开发团队基于点的可微神经渲染流水线 ADOP,用AI分析输入图像,并输出新角度的新图像的方式构建而成的。
在输入时,由于需要建模3D场景,因此这里的照片需要经过严格拍摄,来获取整个场景的稀疏点云数据。采用运动恢复结构(SfM)方法,来获取相机内外参数,得到整个场景的3D重建数据。
肉眼分辨生成结果来看,采用同行几个最新模型生成的图片,或多或少会出现一些伪影或是不真实的情况,相比之下 ADOP 在细节上处理得都非常不错。
整体来看,实时显示 3D 场景的效果还是非常出类拔萃的,不少业内人士对此表示“达到了AI渲染新高度”。目前这个项目的开发团队已经建立了GitHub项目。
相关文章