Art2Real

Year：CVPR2019
Author：Matteo Tomei
School：University of Modena and Reggio Emilia
Code：https://github.com/aimagelab/art2real.

Problem Statement / Gap

1. 艺术图像和自然图片的数量不平衡，模型更偏向于自然图片，转换效果不佳
2. 在图像转换的过程中，尽可能保持两类型图片的语义特征。

Contributions

1. 提出了Art2Real生成模型，缩小了两个Domain距离，也就是最大可能保持了图像的语义特征。
2. unpaired数据集训练，保持Patch级别的细节。
3. 对比Cycle-GAN、UNIT、DRIT的效果

Method and Solution

1. To increase the realism, we build a network which can copy from the details of real images at the patch level.

2. Make use of a semantic similarity constraint: each patch of the generated image is paired up with similar patches of the same semantic class extracted from a memory bank of realistic images.

Patch Memory banks：$B^c$ 表示真实图片中所有类别C的RGB Patches集合。

Semantically aware generation：
参考原始painting中的mask，对生成图进行Patch划分并归类，得到$K^c$。对于某块$k_i^c$而言，计算它与$B^c$ 中所有Patch的余弦相似度，根据余弦矩阵找到最相似的K个。损失函数contextual loss计算中，最大化语义相似度。最终使得一张生成图的各个Patch与匹配上的Patch之间尽可能相似。

Evaluation

评估方法：FID、Human Judgment

数据集：Wikiart和Flickr收集

Notes

疑问：

1. 如何表示Patch，计算的方式是什么
2. PCA如何做压缩
3. 文中提到的$I^c$是什么

Summary

1. 提出了一个新模型实现艺术作品到真实图像的转换，无监督学习。
2. 提出了Patch memory banks的方法，使得生成结果具有局部（Patch-Level）相似性。