(相关资料图)
IT之家 8 月 23 日消息,近日,国内网上有一段谷歌 AI 夜景拍照新技术 RawNeRF 的视频火了,可以将夜晚照片完美降噪,精准还原,并且能将若干张 2D 照片合成 3D 视觉,并可调整焦点。
IT之家发现,该技术的论文于 2021 年 11 月发表,也在 Github.io 上有主页,名为《NeRF in the Dark: High Dynamic Range View Synthesis from Noisy Raw Images》。
顾名思义,该技术可以通过 NeRF (神经辐射场)处理高噪点的夜间拍摄图像,从而将充满噪点的 Raw 图像合成高动态范围视图。
NeRF 是一个简单的全连接神经网络,使用 2D 图像的信息作为训练数据,还原拥有体积的 3D 场景。原版 NeRF 使用色调映射的低动态范围 LDR 图像作为输入,而谷歌将 NeRF 修改为直接在线性原始图像上进行训练,保留场景的完整动态范围,可以有效地将 RawNeRF 变成一个多图像降噪器,能够组合来自数十或数百个输入图像的信息。
除了改变相机视角之外,RawNeRF 可以在后期调整焦点、曝光和色调映射,也就是像视频中演示的那样。
IT之家小伙伴们应该都被谷歌相机的强大“夜视”功能惊艳过,如果 RawNeRF 能够用于谷歌相机,那么或许手机也能拍到清晰的夜间 3D 视觉图像,当然目前还没有。
论文:https://arxiv.org/abs/2111.13679
RawNeRF 介绍主页:https://bmild.github.io/rawnerf/