百科问答小站 logo
百科问答小站 font logo



如何理解深度学习中的deconvolution networks? 第1页

  

user avatar   mennng 网友的相关建议: 
      

一句话解释:逆卷积相对于卷积在神经网络结构的正向和反向传播中做相反的运算。

逆卷积(Deconvolution)比较容易引起误会,转置卷积(Transposed Convolution)是一个更为合适的叫法.

举个栗子:

4x4的输入,卷积Kernel为3x3, 没有Padding / Stride, 则输出为2x2。


输入矩阵可展开为16维向量,记作
输出矩阵可展开为4维向量,记作
卷积运算可表示为


不难想象其实就是如下的稀疏阵:


平时神经网络中的正向传播就是转换成了如上矩阵运算。

那么当反向传播时又会如何呢?首先我们已经有从更深层的网络中得到的.



回想第一句话,你猜的没错,所谓逆卷积其实就是正向时左乘,而反向时左乘,即的运算。

逆卷积的一个很有趣的应用是GAN(Generative Adversarial Network)里用来生成图片:Generative Models


----

[1603.07285] A guide to convolution arithmetic for deep learning

GitHub - vdumoulin/conv_arithmetic: A technical report on convolution arithmetic in the context of deep learning




  

相关话题

  2021年,ncnn发展的如何了? 
  如何评价微软亚研院提出的把 Transformer 提升到了 1000 层的 DeepNet? 
  如何评价 MLSys 这个会议? 
  机器学习(machine learning)在经济学领域是否有应用前景? 
  皮尔逊系数为什么要中心化?中心化之后有什么好处? 
  深度学习的多个loss如何平衡? 
  主动学习(Active Learning)近几年的研究有哪些进展,现在有哪些代表性成果? 
  Transformer中的Mask矩阵已经有顺序了,能去掉position embedding吗? 
  AI(或者说神经网络/深度学习)能够实现科学(尤其是物理学)研究中提出假设这一步嘛? 
  什么是人工智能?人工智能、机器学习、深度学习三者之间有什么关系吗? 

前一个讨论
如何看待 2017 年 6 月 9 日发生的北大赴美交流硕士章莹颖女士失踪一案?
下一个讨论
为什么 Non-Convex Optimization 受到了越来越大的关注?





© 2025-05-21 - tinynew.org. All Rights Reserved.
© 2025-05-21 - tinynew.org. 保留所有权利