百科问答小站 logo
百科问答小站 font logo



为啥gan里面几乎不用pooling? 第1页

  

user avatar   GordonQian 网友的相关建议: 
      

谈一下自己的理解。

ICLR16的DCGAN(arxiv.org/pdf/1511.0643)文章,里面的实验表明: 全卷积网络训练更稳定。

这个是有时代背景的,GAN(papers.nips.cc/paper/54) 14年刚被提出来的时候,loss function是有log函数的,这个log函数其实是个小bug,导致网络难以训练。详情点击【令人拍案叫绝的Wasserstein GAN】(zhuanlan.zhihu.com/p/25


因此14年未来两年的文章有许多是攻克GAN的训练难度问题。 DCGAN是其中之一。不过,自从ICML17的WGAN(arxiv.org/abs/1701.0787)被提出后,很大程度上解决了GAN的训练稳定性问题。

WGAN之后,也出现了许多影响力比较高的文章,并非用的全卷积网络,因为训练GAN并不是多大的问题了。比如ICLR18 Progressive Growing of GANs for Improved Quality, Stability, and Variation (arxiv.org/abs/1710.1019)(引用近1000,被认为第一篇具有高质量输出的GAN)就在D网络中用了average pooling. 再比如deep mind的bibiggan系列也并非是全卷积。

最近arxiv上也有文章指出,全卷积网络并不是最好的选择。FCCGAN(https://arxiv.org/pdf/1905.02417.pdf)还没看 ‍: )




  

相关话题

  有哪些比较好的机器学习,深度学习的网络资源可利用? 
  迁移学习入门,新手该如何下手? 
  2021 年了,机器/深度学习还有哪些坑比较好挖? 
  一张图片怎么用matlab 把颜色反相,就是红的部分变成绿的,蓝的部分变成黄的? 
  能否使用神经网络来判断奇偶数? 
  卷积神经网络如果将池化层去除,与神经网络的区别还大么? 
  如何看待Meta(恺明)最新论文ViTDet:只用ViT做backbone(不使用FPN)的检测模型? 
  研一,在学机器学习和深度学习,为什么感觉越学越不会,怎么解决这个问题? 
  2017年1月18日Facebook发行的PyTorch相比TensorFlow、MXNet有何优势? 
  如何评价Kaiming He的Momentum Contrast for Unsupervised? 

前一个讨论
如何评价 TGA 2019 年度游戏提名名单?
下一个讨论
随着各个领域越来越多的人都开始学习编程,计算机专业的人优势在哪里?





© 2025-05-14 - tinynew.org. All Rights Reserved.
© 2025-05-14 - tinynew.org. 保留所有权利