使用机器学习进行HDR照片编辑

即宣网快报
22

高动态范围(HDR)摄影技术能够精确捕捉场景的全范围亮度值,从最暗的阴影到最亮的光源。然而,当查看生成的HDR照片时,许多显示器只能显示有限的亮度范围。这种差异意味着HDR照片通常会被降级以适应这些标准动态范围(SDR)显示器及其对应的文件格式的物理限制。不过,越来越多的移动设备和电脑显示器具备HDR功能,能够显示更广的亮度范围,拥有更亮的白色和更深的黑色。

尽管存在几种能够编码这种更大范围的常见HDR文件格式,但HDR专用格式的显示效果会因显示能力的不同而有所差异。为了在任何显示器上最佳展示图像——无论动态范围如何——Android 14在2023年10月推出了新的Ultra HDR图像格式。

Google Pixel 7及更新版本的设备采用了这种格式,以Ultra HDR捕捉和保存HDR照片,相比于SDR格式,展现出更加真实的效果,具有更大的对比度和更亮的亮点。虽然这种格式解锁了HDR图像显示,但其新的元数据也增加了图像编辑操作的复杂性。

直到现在,如果你使用Google Photos对一张Ultra HDR照片进行复杂编辑(比如Magic Eraser),你的新编辑后的图像会以SDR保存,从而失去了其HDR效果及相关的亮度和对比度。今天,我们推出了一种新机器学习(ML)技术,能够对HDR照片进行复杂图像编辑,包括那些以Ultra HDR保存的照片。

在Pixel 8及更新版本上,我们的模型在Google Photos的后台运行,以确保即使你对HDR图像进行复杂编辑,新编辑后的图像仍能保持HDR。我们技术的核心是通过使用训练于大量具备完整元数据的HDR图像数据集的ML模型,预测编辑后缺失的HDR图像元数据。基本的HDR图像编辑如“裁剪”和“旋转”在Google Photos中已经有简单的增益图(Gain Map)编辑实现。

然而,Google Photos编辑器中还包含许多更加复杂的编辑功能,通常由ML和计算摄影技术驱动,包括Magic Eraser、Photo Unblur、Magic Editor、Portrait Blur和Motion Photos。在使用这些工具时如何最好地编辑增益图是不确定的,因为这些功能是为SDR图像开发的,模型期望以SDR图像为输入,并输出SDR图像。

使用Magic Eraser举例,你可以擦除图像中分散注意力的元素,并通过图像修复生成被擦除区域的新像素。对于HDR图像,如果擦除部分很亮,则相应的增益图区域也可能很亮。就像裁剪的例子一样,现在你也需要修复增益图。否则,你会在HDR效果中看到不理想的“幽灵”效果——原始增益图作为叠加出现在编辑后的SDR图像中。

因此,到目前为止,如果你使用像Magic Eraser这样的ML驱动工具编辑HDR照片,Google Photos会简单地完全删除增益图,使得新编辑的图像降为SDR格式。



最新快报