【论文阅读】SIGGRAPH2020《DeepFaceDrawing》草图到人脸图像

基本信息

1. 论文标题：《DeepFaceDrawing: Deep Generation of Face Images from Sketches》—— 《深度人脸画像：从草图深度生成人脸图像》

2. 论文链接：原文链接

3. 发表会议：计算机图形学顶会SIGGRAPH 2020 7月

4. 关键词：图像翻译，特征嵌入（feature embedding），基于草图的生成（sketch），人脸生成

5. 作者：中国科学院的研究团队

6. 代码与演示地址：

官方代码：Github仓库地址使用清华开源框架Jittor开发，作者之后将公布Pytorch版本代码
演示地址：在线演示地址

7. 研究意义：

实现了草图到人脸的高质量在线转换，软约束的方式可以实现生成结果的优化。
不要求使用者有多高的艺术造诣，目前国内大多数输入都要求草图清晰、专业。

主要贡献

1. 核心方法：

分别学习人脸组成部分（左眼/右眼/鼻子/嘴/其他）的特征嵌入（autoEncoder），借助LLE方法映射到相应部位的流形结构中，进而找到最相似且合理结构来替换原来不规则的输入草图。（如果这时候再映射回高维空间，sketch将变得规则且合理）
提出了一个深度神经网络，实现特征向量到多通道特征图的映射，以增加可用信息（信息流）。最后将特征图丢入U-Net网络中，得到最终的人脸图片。

2. 主要贡献：

提出了CE、FM、IS三个模块，来完成sketch到img的转换。
开发了一个交互式网站，以便用户对输入的人脸草图有更好的结构掌握。

数据集CelebMask-HQ

1. 数据集介绍：CelebAMask-HQ是一个大规模的面部图像数据集，从CelebA数据集中选择了30,000张高分辨率面部图像，每个图像具有对应于CelebA的面部属性的分割蒙版。数据集都是尺寸为 512×512 的面部图片，被人工标注为出了19个蒙版分类，包括面部所有的部件和配件，如皮肤，鼻子，眼睛，眉毛，耳朵，嘴巴，嘴唇，头发，帽子，眼镜，耳环，项链，脖子和衣服。CelebAMask-HQ可用于训练和评估人脸解析，人脸识别以及用于人脸生成和编辑的GAN的算法。