百科问答小站 logo
百科问答小站 font logo



GAN的生成器是怎么产生图片的? 第1页

  

user avatar   hoshi-83-39 网友的相关建议: 
      

原 GAN(Goodfellow et al., 2014)的完整理论推导与 TensorFlow 实现请查看机器之心的 GitHub 项目与文章:GAN 完整理论推导与实现

假设提问者已了解GAN的原理,只是单纯不知道G的工作过程。下面只介绍生成器G。

生成器G可以用深度神经网络来表示生成函数,而且限制仅限于可微。输入数据z可以从任意的分布中采样,G的输入也无需与深度网络的第一层输入一致(例如,可以将输入z分为两部分:z1和z2,分别作为第一层和最后一层的输入,如果z2服从高斯分布,那么(x | z1)服从条件高斯分布)。但z的维数要至少与x的维数一致,才能保证z撑满整个x样本空间。G的网络模型也不受任何限制,可以采用多层感知机、卷积网络、自编码器等。因此,GAN对生成器的限制很少。

拿DCGAN举个例子:

DCGAN是第一个把Batch normalization引入到GAN的网络架构,并且使用了Adam等方法,增强了网络的稳定性。

该网络有4个卷积层,所有的位于BN(输出层除外)和校正线性单元(ReLU)激活之后。

它将随机向量z(从正态分布中抽取)作为输入。将z重塑为4D形状之后,将其馈送到启动一系列上采样层的生成器中。

每个上采样层都代表一个步幅为2的转置卷积(Transpose convolution)运算。转置卷积与常规卷积类似。

一般来说,常规卷积从宽且浅的层延展为更窄、更深的层。转移卷积走另一条路。他们从深而窄的层次走向更宽更浅。

转置卷积运算的步幅定义了输出层的大小。在“相同”的填充和步幅为2时,输出特征的大小将是输入层的两倍。

发生这种情况的原因是,每次我们移动输入层中的一个像素时,我们都会将输出层上的卷积内核移动两个像素。换句话说,输入图像中的每个像素都用于在输出图像中绘制一个正方形。


将一个3x3的内核在一个步幅为2的2x2输入上进行转置,就相当于将一个3x3的内核在一个步幅为2的5x5输入上进行卷积运算。简而言之,生成器开始于这个非常深但很窄的输入向量开始。在每次转置卷积之后,z变得更宽、更浅。所有的转置卷积都使用5x5内核的大小,且深度从512减少到3——代表RGB彩色图像。

最后一层通过双曲正切(tanh)函数输出一个32x32x3的张量——值在-1和1之间进行压缩。

这个最终的输出形状是由训练图像的大小来定义的。在这种情况下,如果是用于SVHN的训练,生成器生成32x32x3的图像。但是,如果是用于MNIST的训练,则会生成28x28的灰度图像。


这个知乎专栏为深度学习而设,欢迎大家关注与投稿。




  

相关话题

  如何评价deepmind最新在nature上发表的论文《在人工网络中用网格样表征进行基于向量的导航》? 
  为什么梯度下降能找到最小值? 
  在迁移学习中,只有fine-tune和基于实例的迁移可用在小样本上吗,还有其他的小样本迁移方法吗? 
  加州大学伯克利分校为何能连续孵化出 Mesos,Spark,Alluxio,Ray 等重量级开源项目? 
  如何评价论文「Stochastic Training is Not Necessary ...」? 
  如何看待亚马逊的无人超市产品 Amazon Go? 
  机器学习中的优化理论,需要学习哪些资料才能看懂? 
  如何看待Capsule Network在NLP领域的潜力? 
  如何看待谷歌研究人员提出的卷积正则化方法「DropBlock」? 
  Yoshua Bengio为什么能跟Hinton、LeCun相提并论?? 

前一个讨论
数据分析师日常工作是什么?
下一个讨论
有没有200以内平价香水推荐?





© 2024-06-26 - tinynew.org. All Rights Reserved.
© 2024-06-26 - tinynew.org. 保留所有权利