全局细节统统修复——StructureFlow重建新算法实现高性能图像修复

国际新闻 阅读(1332)

创业之门2011.19.19我想分享来自: arxiv编译: T.R

图像恢复技术对于许多修饰软件非常重要。在深度学习的帮助下,图像恢复算法越来越强大,即使是污染严重的照片也能轻松修复。然而,当执行图像恢复时,许多当前算法在结构重建或细节问题修复方面面临困难,并且修复结果不令人满意。

为了解决这个问题,北京大学,彭城实验室和腾讯的研究人员提出了一种新的算法StructureFlow,它将图像恢复过程分为边缘维持的低频结构重建和基于结构的高分辨率纹理重建。并使用流方法充分利用未损坏像素的信息,实现有效的纹理完成和图像恢复。

图像恢复的主要目的是为图像中的有效和染色区域创建视觉上完整的结构和细节。用户不仅可以使用此技术来修复丢失的图像,还可以将其用于图像编辑和对象删除。任务。图像恢复的最大困难是通过视觉效果生成正确完整的纹理和细节纹理。

现有的图像恢复方法

现有方法可以分为两大类:基于扩散的方法和基于图像切片的方法。

基于扩散的方法主要通过将域的信息传播到缺失位置来实现纹理合成。然而,这种方法只能处理一些小孔,这些小孔不能有效地处理大范围的结构缺陷。

基于图像切片的方法不仅利用缺失位置附近的像素,而且还通过使用来自其他位置的信息有效地恢复缺失区域。基于图像切片的方法通过搜索类似于染色区域的结构的目标区域并复制图像来重建缺失区域。该方法可以为较大的缺失区域生成视觉上逼真的纹理。该方法通常基于双线性相似性方法来搜索适当的图像切片。

然而,基于片段的方法主要假设防污区域包含与污垢区域在语义上相似的内容,但是这种假设在诸如面部检测的任务中不成立。这种方法在一些具有重复结构的图像中效果很好,但对于具有特殊结构的图像无法有效处理。

产生问题,并且将刻录的图像作为网络输入以获得恢复的图像。深度学习方法的优点是可以提取图像中的有效语义信息并生成新图像。

边缘信息可以提供图像修复,包括自编码器结构,处理全局和局部内容的鉴别器,构建远程相关,有效像素的选择性使用和边缘修复,但是不能有效地表示远程相关没有有效地携带纹理和其他问题,因此通过这些方法获得的结果有一个或另一个缺陷。

StructureFlow

为了解决以往模型的问题,研究人员提出了一种新颖的两阶段网络模型,以实现高质量的图像恢复。该模型由两部分组成,即结构生成器和纹理细节生成器。

研究人员认为,图像恢复过程是一个绅士成为有效结构然后完成真实细节的过程。因此,网络的第一部分用于生成有意义的结构,研究人员使用平滑的图像来表示图像场景的全局结构。边缘保持平滑方法的主要目标是从图像中去除高频纹理,同时保持锐边和低频信息(这些信息是图像结构的主要组成部分)。通过使用边缘平滑图像进行训练,结构重建器可以专注于恢复全局结构,而不必担心细节和纹理干扰。

在重建缺失的细节之后,纹理生成器可以基于重建的结构图来合成高频细节。由于图像域中的类似结构具有强相关性,因此可以使用所有未处理区域来修复缺失区域的纹理。

尽管卷积网络难以建模用于远程相关,但研究人员已经提出了基于图像外观流(AF)的方法来从类似的结构区域进行采样,以构建不同区域的清晰关系。此外,研究人员还利用高斯采样代替双线性采样来扩展采样操作的感知领域,并引入新的采样正确性损失函数来训练采样过程,从而获得更高性能的图像恢复模型。

实施细节

在结构重建器中,研究人员将最小化生成的低频结构图像和平滑的原始图像之间的误差。监督信号的第一级主要来源于GT图的平滑结果,边缘保持平滑算法RTV用于获得保持图像主结构的图像作为标签。该模型的主要结构基于自编码器架构,并添加了一系列残余块以实现特征的最佳提取。 Gs和Gt分别代表第一阶段结构生成器和第二阶段纹理生成器,而鉴别器使用类似于BicycleGAN的结构,其使用两个不同尺度的PatchGAN来预测在不同尺度下生成的图像的真实性。伪。

值得一提的是,在该模型中使用流的概念来将未损坏区域的纹理信息提供给需要修复的区域。但原始的AF方法是一种无监督的方法,网络无法处理较大的运动和较差的局部最小值。

为了解决这个问题,研究人员提出用高斯抽样方法代替原始双线性抽样方法来扩展感受野,并提出抽样正确性损失来约束可能的收敛结果。采样过程通过输入像素(特征)来计算梯度,并且如果感受野是有限的,则只有少量像素可以参与计算。由于相邻像素的强相关性,较大的感受野有助于获得更正确和稳定的梯度。双线性采样具有较小的感受野,不适用于远程相关的采样建模。可以在更大的感受野中对高斯相关进行采样。以下等式中的权重aij是具有可调方差的高斯核。

新提出的采样正确性损失用于测量模型的采样是否良好以及约束AF场中的信息流。在实际使用中,研究人员主要使用VGG19层的特征来计算参考特征和采样特征之间的余弦距离,以确定采样是否合适。

实验结果

研究人员分别对Place2,Celeba和Paris StreetView数据集进行了实验,并使用Irregular Masks数据集生成缺失印迹的图像。

客观的SSIM,PSNR和FID用于客户观察和评估,主观质量测试也使用MTurk平台进行。下图显示了研究人员提出的方法与语境注意(CA),部分卷积(PConv)和EdgeConnect的比较。

正如您在下表中看到的,此方法已在多个数据集上实现了显着的度量标准改进。

研究人员还在图像编辑任务中使用此算法将不需要的对象应用于蒙版,以恢复完整,高质量,清晰的图像。还可以在结构图上编辑以向生成的图像添加新对象或内容。

如果您想了解更多详情,请参阅论文:

作者还开源了本文的实验代码,并且朋友可以用它来DIY自己的图像来修复应用程序:

参考号:

通过外观流程查看合成:人体姿势转移的流程:

过来扫我吧

该公司是一家新的风险投资公司,专注于发现,加速和投资技术驱动的初创公司,涵盖创新服务,门到门技术社区和Mentor Venture Capital的大门。该创始团队成立于2015年底,由微软风险投资公司在中国的原始团队建立。它为微软孵化并创新了126家创新技术创业公司。

专注于创新服务,将创新技术应用于实际应用,激活和提供新的业务价值,并为行业领先的公司和技术创新型初创公司提供服务。

专注于技术社区,帮助技术创新的初创公司提供生产,学习,研究和创新领域的核心技术专家的技术共享和学习内容,使创新成为核心竞争力。

专注于风险投资基金,投资技术创业公司,激活业务场景,实现初创企业的商业价值,专注于技术领域,包括机器智能,物联网,自然人机交互和企业计算。在过去三年中,Mentor Venture Capital投资了数十家高增长技术企业,包括Quantitative,Codelong Technology,Hesai Technology,Quantum Technology,Shanji Technology和Diyinga Technology。公司。

如果您是技术领域的初创企业,不仅希望获得投资,还希望获得一系列连续且有价值的投资后服务,欢迎向我发送或推荐项目“门”:

风险投资

让创新得到认可!

收集报告投诉

来自: arxiv编译: T.R

图像恢复技术对于许多修饰软件非常重要。在深度学习的帮助下,图像恢复算法越来越强大,即使是污染严重的照片也能轻松修复。然而,当执行图像恢复时,许多当前算法在结构重建或细节问题修复方面面临困难,并且修复结果不令人满意。

为了解决这个问题,北京大学,彭城实验室和腾讯的研究人员提出了一种新的算法StructureFlow,它将图像恢复过程分为边缘维持的低频结构重建和基于结构的高分辨率纹理重建。并使用流方法充分利用未损坏像素的信息,实现有效的纹理完成和图像恢复。

图像恢复的主要目的是为图像中的有效和染色区域创建视觉上完整的结构和细节。用户不仅可以使用此技术来修复丢失的图像,还可以将其用于图像编辑和对象删除。任务。图像恢复的最大困难是通过视觉效果生成正确完整的纹理和细节纹理。

现有的图像恢复方法

现有方法可以分为两大类:基于扩散的方法和基于图像切片的方法。

基于扩散的方法主要通过将域的信息传播到缺失位置来实现纹理合成。然而,这种方法只能处理一些小孔,这些小孔不能有效地处理大范围的结构缺陷。

基于图像切片的方法不仅利用缺失位置附近的像素,而且还通过使用来自其他位置的信息有效地恢复缺失区域。基于图像切片的方法通过搜索类似于染色区域的结构的目标区域并复制图像来重建缺失区域。该方法可以为较大的缺失区域生成视觉上逼真的纹理。该方法通常基于双线性相似性方法来搜索适当的图像切片。

然而,基于片段的方法主要假设防污区域包含与污垢区域在语义上相似的内容,但是这种假设在诸如面部检测的任务中不成立。这种方法在一些具有重复结构的图像中效果很好,但对于具有特殊结构的图像无法有效处理。

产生问题,并且将刻录的图像作为网络输入以获得恢复的图像。深度学习方法的优点是可以提取图像中的有效语义信息并生成新图像。

边缘信息可以提供图像修复,包括自编码器结构,处理全局和局部内容的鉴别器,构建远程相关,有效像素的选择性使用和边缘修复,但是不能有效地表示远程相关没有有效地携带纹理和其他问题,因此通过这些方法获得的结果有一个或另一个缺陷。

StructureFlow

为了解决以往模型的问题,研究人员提出了一种新颖的两阶段网络模型,以实现高质量的图像恢复。该模型由两部分组成,即结构生成器和纹理细节生成器。

研究人员认为,图像恢复过程是一个绅士成为有效结构然后完成真实细节的过程。因此,网络的第一部分用于生成有意义的结构,研究人员使用平滑的图像来表示图像场景的全局结构。边缘保持平滑方法的主要目标是从图像中去除高频纹理,同时保持锐边和低频信息(这些信息是图像结构的主要组成部分)。通过使用边缘平滑图像进行训练,结构重建器可以专注于恢复全局结构,而不必担心细节和纹理干扰。

在重建缺失细节后,纹理生成器可以根据重建的结构图合成高频细节。由于图像域中的相似结构具有很强的相关性,所有未着色区域都可以用来修复缺失区域的纹理。

0×251f

虽然卷积网络很难对长距离相关进行建模,但研究人员提出了基于图像外观流(AF)的方法,从相似的结构区域进行采样,以建立不同区域的清晰关系。此外,研究人员还利用高斯采样代替双线性采样扩展了采样操作的接收域,引入了一种新的采样正确性损失函数来训练采样过程,从而获得了一个更高性能的图像恢复模型。

实施细节

在结构重构中,研究人员将生成的低频结构图像与平滑原始图像之间的误差降到最小。监控信号的第一阶段主要来源于GT图的平滑结果,并采用保边平滑算法RTV获得以图像主体结构为标签的图像。该模型的主要结构是基于自编码结构,并添加了一系列的残差块来优化特征提取。GS和GT分别代表第一级结构生成器和第二级纹理生成器,而鉴别器使用类似于Bickegan的结构,该结构使用两个不同的Patchgan尺度来预测不同尺度下生成的图像的真实性。伪。

值得一提的是,在该模型中使用了流的概念,将未受损区域的纹理信息提供给需要修复的区域。但原始的AF方法是一种无监督的方法,网络不能处理较大的运动和较差的局部极小值。

为了解决这个问题,研究人员提出用高斯抽样方法代替原始双线性抽样方法来扩展感受野,并提出抽样正确性损失来约束可能的收敛结果。采样过程通过输入像素(特征)来计算梯度,并且如果感受野是有限的,则只有少量像素可以参与计算。由于相邻像素的强相关性,较大的感受野有助于获得更正确和稳定的梯度。双线性采样具有较小的感受野,不适用于远程相关的采样建模。可以在更大的感受野中对高斯相关进行采样。以下等式中的权重aij是具有可调方差的高斯核。

新提出的采样正确性损失用于测量模型的采样是否良好以及约束AF场中的信息流。在实际使用中,研究人员主要使用VGG19层的特征来计算参考特征和采样特征之间的余弦距离,以确定采样是否合适。

实验结果

研究人员分别对Place2,Celeba和Paris StreetView数据集进行了实验,并使用Irregular Masks数据集生成缺失印迹的图像。

客观的SSIM,PSNR和FID用于客户观察和评估,主观质量测试也使用MTurk平台进行。下图显示了研究人员提出的方法与语境注意(CA),部分卷积(PConv)和EdgeConnect的比较。

正如您在下表中看到的,此方法已在多个数据集上实现了显着的度量标准改进。

研究人员还在图像编辑任务中使用此算法将不需要的对象应用于蒙版,以恢复完整,高质量,清晰的图像。还可以在结构图上编辑以向生成的图像添加新对象或内容。

如果您想了解更多详情,请参阅论文:

作者还开源了本文的实验代码,并且朋友可以用它来DIY自己的图像来修复应用程序:

参考号:

通过外观流程查看合成:人体姿势转移的流程:

过来扫我吧

该公司是一家新的风险投资公司,专注于发现,加速和投资技术驱动的初创公司,涵盖创新服务,门到门技术社区和Mentor Venture Capital的大门。该创始团队成立于2015年底,由微软风险投资公司在中国的原始团队建立。它为微软孵化并创新了126家创新技术创业公司。

专注于创新服务,将创新技术应用于实际应用,激活和提供新的业务价值,并为行业领先的公司和技术创新型初创公司提供服务。

专注于技术社区,帮助技术创新的初创公司提供生产,学习,研究和创新领域的核心技术专家的技术共享和学习内容,使创新成为核心竞争力。

专注于风险投资基金,投资技术初创企业,激活业务场景,实现初创企业的业务价值,专注于机器智能、物联网、自然人机交互和企业计算等技术领域。在过去的三年中,Mentor Venture Capital投资了数十家高增长技术企业,包括定量、码龙技术、和塞技术、量子技术、山基技术和迪英亚技术。公司。

如果您是技术领域的初创企业,不仅想得到投资,还想得到一系列持续而有价值的后期投资服务,欢迎您向我发送或推荐“门”0X1778项目。

风险投资

让创新得到认可!

——