持有人：孙剑 徐宗本 杨燕 Marshall Tappen(亚马逊)、孙剑(旷视)
代表专利或成果：美国专利20080297621 中国发明专利ZL 201510091585.7等
技术内容：
图像恢复与重建的目的是从观测到的带噪声、欠采样、模糊等各种现象的观测信号中恢复或重建出高质量的图像，包括图像去噪、去模糊、核磁共振成像、雷达成像等。图像恢复与重建是图像分析的基础，在医疗、天文、军事、工业自动化等领域具有广泛而重要的应用。图像恢复与重建在数学上是个反问题，由于问题的不适定性，难以直接由观测信号恢复出清晰图像，我们系统研究高质量图像在结构、相似块和统计分布上的视觉先验规律以约束反问题求解，进一步提出模型驱动的视觉先验深度学习技术，从而形成了一套解决图像恢复与重建问题的视觉先验学习技术。
图像边缘、图像块是图像的基本几何结构单元，而统计规律则反映图像整体上的分布规律。我们发现并建立了自然图像边缘结构在梯度场内的几何统计分布规律—梯度场轮廓先验(Gradient Profile Prior)；建立了自然图像块结构与纹理信息的稀疏性测度，提出了带内容约束的图像块稀疏线性表达模型；构建了非局部范围的Markov随机场模型、可分Markov随机场模型，以及面向应用的图像Markov随机场判别式参数学习新思想。上述先验模型全面精准地描述了图像基本结构单元的先验性规律和整体的分布规律。基于此形成了基于梯度场轮廓先验和纹理先验的两种图像超分辨率算法、基于图像块稀疏性的图像填充算法、基于判别式Markov随机场的彩色图像去噪和去马赛克算法、基于图像块深度特征学习的图像非均匀模糊去除方法，被认为是国际上同类算法中性能最好或最具代表性的图像处理算法之一（图像处理结果实例如图1，2所示）。
进一步，我们观察到针对很多图像反问题，除模型之外，还往往存在大量的范例。因此提出了将模型求解与范例学习相结合的反问题求解新思路。针对解决压缩感知核磁共振成像（CS-MRI）问题，我们将求解CS-MRI问题的ADMM优化算法展开为一个深度结构，并将其定义为ADMM深度网络（如图3），从而将正则化项的形式和参数学习问题转化为ADMM深度网络的参数学习问题，并结合大量的样本示例进行模型学习。在CS-MRI应用上的大量比较实验表明，所提出的ADMM深度网络可快速重建出高质量核磁共振图像，其重建性能显著超过目前所有其他的压缩传感核磁共振成像方法。
图3：ADMM深度网络结构图
评价及应用情况：
上述成果获批美国发明专利1项、中国发明专利1项，并申请中国发明专利1项。所发表论文被引用1500余次（Google Scholar），引用率最高的两篇论文单篇引用分别达522次和368次。成果被《Motion Deblurring》(Cambridge Univ. Press)等4本专著引用；受到美国麻省理工大学、加州大学Berkeley分校、布朗大学、伊利诺伊大学厄巴纳-香槟分校、微软研究院、英国牛津大学等著名院校团队的关注和引用；美国工程院院士、中国科学院外籍院士Thomas S. Huang教授的论文评价认为：“这类方法可有效保持放大图像的边缘特性”； 基于纹理建模的超分辨率算法被美国加州理工大学James Hays教授论文评价为：“是自动超分辨率的最好的代表性算法”。 法国国家信息与自动化研究院SIROCCO项目组主任Christine Guillemot在综述论文[IEEE Signal Processing Magazine, 2014]中将我们的基于相似块建模的图像填充算法作为代表性算法大篇幅引用与综述。
