百科问答小站 logo
百科问答小站 font logo



如何理解深度学习中的deconvolution networks? 第1页

  

user avatar   mennng 网友的相关建议: 
      

一句话解释:逆卷积相对于卷积在神经网络结构的正向和反向传播中做相反的运算。

逆卷积(Deconvolution)比较容易引起误会,转置卷积(Transposed Convolution)是一个更为合适的叫法.

举个栗子:

4x4的输入,卷积Kernel为3x3, 没有Padding / Stride, 则输出为2x2。


输入矩阵可展开为16维向量,记作
输出矩阵可展开为4维向量,记作
卷积运算可表示为


不难想象其实就是如下的稀疏阵:


平时神经网络中的正向传播就是转换成了如上矩阵运算。

那么当反向传播时又会如何呢?首先我们已经有从更深层的网络中得到的.



回想第一句话,你猜的没错,所谓逆卷积其实就是正向时左乘,而反向时左乘,即的运算。

逆卷积的一个很有趣的应用是GAN(Generative Adversarial Network)里用来生成图片:Generative Models


----

[1603.07285] A guide to convolution arithmetic for deep learning

GitHub - vdumoulin/conv_arithmetic: A technical report on convolution arithmetic in the context of deep learning




  

相关话题

  2020到2021年小样本学习取得重大进展了吗? 
  Resnet是否只是一个深度学习的trick? 
  新手如何实现个简单AutoML框架。有参考的github开源项目介绍吗? 
  使用强化学习解决实际问题时常常避不开环境模拟或者使用离线强化学习算法,两者分别有什么优缺点? 
  深度学习方面的科研工作中的实验代码有什么规范和写作技巧?如何妥善管理实验数据? 
  为什么小模型已经可以很好地拟合数据集了,换大模型效果却要比小模型好? 
  什么是蒙特卡罗 Dropout(Monte-Carlo Dropout)? 
  2021 年各家大厂的 AI Lab 现状如何? 
  如何看待 Larrabee 之父 Tom Forsyth 重加入 Intel?英特尔为何下注独立显卡? 
  如何看待谷歌研究人员提出的卷积正则化方法「DropBlock」? 

前一个讨论
如何看待 2017 年 6 月 9 日发生的北大赴美交流硕士章莹颖女士失踪一案?
下一个讨论
为什么 Non-Convex Optimization 受到了越来越大的关注?





© 2024-11-24 - tinynew.org. All Rights Reserved.
© 2024-11-24 - tinynew.org. 保留所有权利