私人海域

之前做了一个尝试性实验，把彩色图片转化为素描图，再进行线稿简化。 叶老师不愧是最爱提问的导师，一个问题又把我整懵的hhh 这篇总结依旧是为了解决上次组会的遗留问题，对Sketch Simplification的处理结果进行分析 Sketch Simplification 相关论文： V1：《Learning to Simplify: Fully Convolutional Networks for Rough Sketch Cleanup》SIGGRAPH 2016 V3：《Mastering Sketching: Adversarial Augmentation for Structured Prediction》ACM2018 这位作者都把线稿简化迭代到第三个版本了 每次都顶刊 实验网站：https://sketch.esslab.jp/ 测试代码：https://github.com/bobbens/sketch_simplification 网络结构： ![image-20210421110057075](/Users/sonata/Library/Application S ...

总结的动力来自于叶老师的灵魂拷问：下次我问你，你能讲出来吗？ 那必须的~~ Trapped-Ball Region Segmentation 陷球分割技术的提出：《Vectorizing Cartoon Animations》 之前看到的两篇上色论文都提到了这个技术，把图像分割成了不同颜色的色块，方便解决上色过程中的颜色溢出问题。但是都没有详细介绍过处理的过程，所以我理论梳理一下。 整体来说，它是借助一个半径为R的球形形态结构元件对图片进行处理，且半径不断修改，处理也越来越细致。 FloodFill 首先对原图进行洪水填充法上色：由某个像素点开始向四周扩散，以该点的像素值作为参考，设定像素值的上下限，在像素范围内的像素点将被纳入集合中，最终确定待上色的点集合，并对它们的颜色统一更新。 比如说，我的起始点在(x,y)(x, y)(x,y)，其像素值是68，而我设置的上下限分别为+22,−28+22, -28+22,−28，所以颜色区间为[40,90][40,90][40,90]。确定区间后就可以进行颜色填充了，从起始点开始，把四周像素值在区间内的颜色都修改成目标颜色。 有个前提，填 ...

上次组会在介绍论文的时候提到里面用了Attention机制，然后叶老师让我搞明白它咋用的，现在赶紧填坑了。 主要参考了好几篇博客，对它大致有个了解。 注意力机制本质上与人类对外界事物的观察机制相似。通常来说，人们在观察外界事物的时候，首先会比较关注比较倾向于观察事物某些重要的局部信息，然后再把不同区域的信息组合起来，从而形成一个对被观察事物的整体印象。 Attention Mechanism可以帮助模型对输入的X每个部分赋予不同的权重，抽取出更加关键及重要的信息，使模型做出更加准确的判断，同时不会对模型的计算和存储带来更大的开销，这也是Attention Mechanism应用如此广泛的原因。 总的来说，注意力机制可分为两种：一种是软注意力(soft attention)，另一种则是强注意力(hard attention)。 软注意力(soft attention)与强注意力(hard attention)的不同之处在于： 软注意力更关注区域或者通道，而且软注意力是确定性的注意力，学习完成后直接可以通过网络生成，最关键的地方是软注意力是可微的，这是一个非常重要的地方。可以微分的注意力 ...

基本信息 论文标题：《Mangan：Assisting Colorization Of Manga Characters Concept Art Using Conditional GAN 》 —— 使用条件GAN辅助漫画人物概念艺术的着色 论文链接：https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=8803667&casa_token=1HtzmvCWXucAAAAA:MEdu83aRd8aNcUcA4OkLGmkeK66c_hl4z-Qkh1zoHgGJzxongNZAEsy1uwD-kjMpbJC2JwKVgnv0 关键词： colorization（上色），DeepLearning，Gans 发表会议：2019 ICIP 主要贡献：实现了基于cGAN的半自动漫画着色框架。 创新点： 采用半自动颜色提示的方法，以cGAN为主要网络结构，搭建了着色框架 （论文实在是太短了… 实验过程 数据集 1. 原始图片 safebooru收集动漫人物图片，最后留下13000照片（这么来看，感觉5000-10000张训练集 ...

卷积的范式 作者一上来先归纳了Inception的模式：split-transform-merge。 如下图所示，先将输入分配到多路，然后每一路进行转换，最后再把所有支路的结果融合。 少不了要提一下Inception的缺点，太复杂了，人工设计的痕迹太重了。 然后，站得更高，分析了神经网络的标准范式就符合这样的split-transform-merge模式。以一个最简单的普通神经元为例（比如FC中的每个神经元）： 就是先对输入的m个元素，分配到m个分支，进行权重加权，然后merge求和，最后经过一个激活。 由此归纳出神经网络的一个通用的单元可以用如下公式表示： F(x)=∑i=1CTi(x)F(x) = \sum ^ C _ {i=1} T_i(x) F(x)=i=1∑C​Ti​(x) 结合ResNet的identity映射，带residual的结构可以用如下公式表示： y=x+∑i=1CTi(x)y = x+ \sum ^ C _ {i=1} T_i(x) y=x+i=1∑C​Ti​(x) 上面的变换T可以是任意形式，一共有C个独立的变换，作者将C称之为基数，并且指出，基数C对 ...

最开始计算卷积的过程中，需要进行翻转卷积核的操作。 引入的互相关，用滑动窗口的点积计算来实现，可以省去翻转的步骤，这是因为使用点积运算是为了进行特征提取，而卷积核是否翻转与其特征抽取的能力并无关系。 CNN特点 CNN的特点可以概括为：局部连接、权重共享。 1. 局部连接 如果使用全连接，参数个数为Ml∗xl−1M_l * x_{l-1}Ml​∗xl−1​，如果变成局部连接，参数个数为Ml∗KM_l * KMl​∗K，其中K为卷积核的大小。可以有效减少参数的个数。 2. 权重共享 作为卷积核wlw^lwl对第lll层的所有神经元相同，可以理解为一个卷积核只捕捉输入数据的一种特定局部特征。因此，如果需要对多特征进行提取，则需要多个卷积核。 因此，在第lll层中，需要参数的个数为K+1K+1K+1，参数个数与神经元的数量是无关的。 3D卷积核 卷积核厚度等于1时为2D卷积，对应平面点相乘然后把结果加起来，相当于点积运算； 卷积核厚度大于1时为3D卷积，每片分别平面点求卷积，然后把每片结果加起来，作为3D卷积结果； 1x1卷积属于3D卷积的一个特例，有厚度无面积, 直接把每片单个点乘以权 ...

基本信息 论文标题：《PaintsTorch: a User-Guided Anime Line Art Colorization Tool with Double Generator Conditional Adversarial Network》 —— 基于用户指导的，且具有双生成器的条件对抗网络的动漫艺术线条着色工具 论文链接：https://dl.acm.org/doi/10.1145/3359998.3369401 关键词：深度学习（Deep Learning）、神经网络（Neural Networks）、生成对抗网络（Generative Adversarial Network）、用户指导的上色（User-guided Colorization） 发表会议：2019 CVMP 主要贡献：开发了一个类似于PaintsChainer的上色工具，用户可以提供类似于笔刷的颜色提示。 创新点： 引入了一种基于笔触仿真的方法来生成提示，也就是颜色提示从随机像素采样修改成了笔划的形式 提出了一个新的更清洁的数据集 使用包含了双重生成器的GAN网络来提高视觉效果 实验过程 数据集 ...

基本信息 论文标题：《 Colorization for Anime Sketches with Cycle-Consistent Adversarial Network》 —— 具有周期一致的对抗网络的动漫素描着色 论文链接：http://www.ijpe-online.com/EN/abstract/abstract4089.shtml 关键词： anime，sketches（草图），colorization（上色），cycle-consistency（周期一致性），u-net 发表会议：2019 IJPE 主要贡献：实现了动漫人物头像的自动化上色。 创新点： 循环一致性网络，用于将绘画的颜色应用于草图。 具有少量信息量的残留U-net。 由BEGAN修改的鉴别器，适用于处理不同颜色的着色。 网络架构 引入了U-net，并进行了适当的结构修改。 实验效果 本菜鸡发言：我觉得它效果并不是很好！ 数据集：自己收集约1K，XDoG生成线稿。 与CycleGAN比较 与PaintsChainer对比 多风格 同一张图片的多次生成结果是多样化的 （这水平，我也能！

基本信息 论文标题：《SmartPaint: a co-creative drawing system based on generative adversarial networks》 —— 一种基于生成式对抗神经网络的人机协同绘画系统 论文链接：http://journal.hep.com.cn/ckcest/fitee/CN/10.1631/FITEE.1900386 关键词：深度学习（Deep Learning）， 图片生成（Image generation），人机协同绘画（Co-creative drawing） 发表会议：2019 FITEE 主要贡献：SmartPaint可以使得机器和人类协作进行绘制卡通山水画，机器同时了解卡通风格和语义，以及风景图像中对象之间的空间关系。这样用户只需要画出语义标签图，就能生成质量较高的山水画作。 创新点： 人机协同的绘画系统 边缘图的生成有助于提高绘画的生成质量，并弥合用户输入与计算机输入之间的理解差距。 我们提出了一套用于开发共同创造的机器人系统的设计原则。（？？？） 实验过程 系统绘画效果 用户给出语义标签图，然后机器可以 ...

基本信息 论文标题：《Semantics Disentangling for Text-to-Image Generation》 —— 用于“文本转换至图像”的语义分解，实现跨模态转换。 **论文链接：**https://arxiv.org/abs/1904.01480v1 研究领域：计算机图形学，Text-to-Image，深度学习（Deep Learning），生成式对抗网络（GAN） **发表会议：**2019 CVPR **研究意义：**这篇文章属于Text-to-Image一类，它所解决的主要任务是如何根据文本的描述生成相应的图像，不仅要求生成的图像要清晰真实，而且更要求其符合给定的文本描述。作者提出了一个全新的文本图像生成模型，对输入语句进行语义分离，使其满足高级语义一致性的同时，达到低级语义多样性。 主要贡献 首先预览一下大致的实验效果： 如上图所示，SDGAN和之前的StackGAN、AttenGAN进行了对比，从生成的图像可以直观的看出SDGAN的结果更清晰，同时与描述文本更相符，那么它是做了哪些工作才得到这么好的效果呢？ 题目是Semantics Disent ...