近期，大数据与智能工程学院教师强振平教授团队在信号处理TOP刊物《IEEE Journal of Selected Topics in Signal Processing》(中科院一区TOP，IF7.695)发表题为《Face Image Completion Method Based on Parsing Features Maps》的学术论文，论文介绍了利用深度学习实现人脸图像补全方面的进展。开云在线平台-开云网页版为第一完成单位，2020级硕士研究生苏世琪为第一作者，强振平教授为通讯作者。
人脸图像补全是图像修复的一个特定领域，它可以应用于许多与人脸相关的实际应用中，对其进行研究具有重要价值。具体的人脸图像补全是对破碎或遮挡的不完整人脸图像进行补全，主要是通过整张人脸图片的语义信息来生成相似的人脸图像。传统的图像补全方法不具有捕捉高级语义的能力，很难实现具有明显语义信息的人脸补全任务。基于深度学习的补全模型能够提取并学习图像深层信息，从而能够对缺失的人脸图像进行补全。即便是基于深度学习的补全方法，对不完整人脸补全时，会出现不合理的补全结果，或是补全的人脸图像在五官结构上会有不连续的情况。
图 1：整个网络结构图
针对这个问题，强振平教授团队提出了一种基于特征解析图的人脸图像补全网络(图1)。该网络主要分为两个阶段：人脸解析图预测网络和人脸图像补全网络。人脸解析图预测网络是预测完整的解析图，人脸图像补全网络是利用人脸解析预测网络得到的解析图来引导人脸图像补全完成缺失区域的填充。整个网络通过输入掩码、不完整的人脸图像和相应的解析图，训练人脸解析图网络以生成完整的解析图。进一步，人脸图像补全网络使用预测得到的解析图来引导人脸图像的补全，并生成包含缺失区域的完整人脸图像。最后，将生成的结果和掩码输入到SN-PatchGAN中，对生成的图像进行真假鉴别，并通过迭代更新鉴别器参数，反馈给生成器修正人脸生成。人脸解析图预测网络和人脸图像补全网络可以逐步学习并生成合理的图像。在公开数据集CelebA-HQ和Flickr Faces High Quality（FFHQ）上，验证了该方法的有效性。图2为修复结果示例图。
图2：人脸图像补全结果示例图
该研究受到国家自然科学基金项目（12163004）、云南省开云在线平台-开云网页版厅科研基金项目（2022Y560）和云南省基础研究项目（202001AT070135）的资助，强振平为开云在线平台-开云网页版承担课题/项目的负责人。（来源：大数据与智能工程学院/图：苏世琪/文：强振平、吴梦帆/审核：林开文/初审：李颖/复审：史桓恺/终审：张武先/责任编辑：史桓恺）
论文链接：https://ieeexplore.ieee.org/document/10083187
