Sketch_Simplification线稿简化

之前做了一个尝试性实验，把彩色图片转化为素描图，再进行线稿简化。

叶老师不愧是最爱提问的导师，一个问题又把我整懵的hhh

这篇总结依旧是为了解决上次组会的遗留问题，对Sketch Simplification的处理结果进行分析

Sketch Simplification

相关论文：

V1：《Learning to Simplify: Fully Convolutional Networks for Rough Sketch Cleanup》SIGGRAPH 2016

V3：《Mastering Sketching: Adversarial Augmentation for Structured Prediction》ACM2018

这位作者都把线稿简化迭代到第三个版本了 每次都顶刊

实验网站：https://sketch.esslab.jp/

测试代码：https://github.com/bobbens/sketch_simplification

网络结构：


Introduction

线稿简化最直接的目标是对手工绘制的草图进行线条处理，把图片中的一些辅助线去掉，得到干净的手绘图。例如下图的Input 和 Ours。

而在一些Image Colorizaiton的处理过程中，经常要先得到某张彩色图片的线稿图，然后以此为参考基础进行深度网络的图像上色，这通常要求线稿是干净、少阴影的。比如左图就很清晰干净。

所以很多上色论文的第一步是得到Sketch Database，也就是对原图进行线稿提取。

目前比较常用的线稿提取方式有XDoG和PhotoShop，事实证明Adobe永远的神！

XDoG

高斯差分(Difference of Gaussians，DoG)是基于二阶导数的边缘检测方法，对图像中每个像素点的局部邻域求二阶导的过零点，得到1-2 个像素宽度的细边缘，但是DoG 算子难以检测边缘强度低的弱边缘，导致提取结果出现很多断裂的碎线条。扩展高斯差分(Extended Difference of Gaussians，XDoG）是对DoG 的改进，通过设置阈值的方法检测出弱边缘，得到连续的轮廓线条，提高边缘检测精度。

目前很多的上色论文都是采用XDoG 边缘检测算子提取图像的边缘轮廓，XDoG可以确定生成结果笔划的粗细。

我放一张之后会用到的线稿提取结果图：

观察发现，XDoG处理后的线稿图，笔触较深较粗，而且细节部分、辅助线和阴影部分几乎没有。

PhotoShop

关于如何利用PS将图片转化为线稿：https://jingyan.baidu.com/article/295430f138a3da4d7f005035.html

其实我们会发现，PS处理后的线稿图更符合我们人为绘制的结果，有参考线和适当的阴影线条，可以偷偷预测一下，它最后的实验效果是更好的！

Simplification

我直接使用网站进行线稿简化处理操作，测试了几种粗细结果：

笔触由粗到细的使用XDoG处理

突然发现这个对比不太明显，临时换一张- - …

经过观察后现在，这个简化效果呈波动的效果。

假设原图的笔触粗细为$T$，目标笔触为$T'$。我们对每张图的框线部分做一个比较。

1. $T' > T$时，生成结果略去了一些不必要的细节，还把左侧一些断线的部分给连上了，整体来说结果较好，但是左上角的“罗小黑战记”的字样就直接被省略了。
2. $T' \approx T$时，几乎没有剩下什么连续的线条了。
3. $T' < T$时，细节保留的很好，左上角的字样也保存了，但是有个缺点就是，整个线稿看上去比较“脏”。

所以整个简化过程，受到笔触的影响较深。细的保留细节，粗的保留轮廓，有个临界点会导致大部分线稿直接消失。

笔触由细到粗的使用PhotoShop进行处理

几乎可以验证上面的结论，因为左边的线稿图笔触很浅，所以当我把选择的笔触很细的时候，直接导致整张图片的简化直接失败。反倒是倒数第二张的效果是最好的，因为它的粗细适中。

Conclusion

所以总结分析可能导致线稿简化效果区别明显的原因：

为什么PS得到的简化效果较好？

• 来自训练数据集的影响：训练的数据集来自真实的手绘线稿图，笔触清晰，包含辅助线、阴影等细节信息，同时笔触也比较细。PS的提取结果和训练集比较相似，因此简化效果较好。
• 目标笔触的选择：网站通常会初始化一个目标笔触，它肯定是经过训练之后观察到的效果最好的粗细度。所以PS的线稿提取图和它比较匹配。

XDoG效果为啥一般？

其实也不一般，只不过使XDoG转换效果较好的目标笔触要么较高，要么很低，因为它本身就有很多细节的缺失。目标笔触的选择实在是很重要啊。

好的，捋顺了，立刻停止交易！