NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么？ 第1页
1
eric314 网友的相关建议:
bn其实一点都不好。个人认为bn是深度学习界有史以来最恶心的trick，实现起来一堆坑不说，加上bn以后你的输入都不iid了，要是在深度学习爆火以前有人提出bn，肯定会被统计学家打死……无奈它在图像识别上效果很好，大家只能忍了。
bn的主要作用是控制数值区间，让比较深的网络训练起来稳定性比较好，更不容易爆炸。但是初始化和调参其实可以部分解决这个问题，能不用bn的时候还是尽量不要用，尤其是做一个新的问题的时候，不要想当然就把bn塞进去。
顺便推荐一下selu，是一个有希望代替bn的研究方向https://www.zhihu.com/question/60910412/answer/181988782
1
相关话题
深度学习图像处理什么时候用到GPU？2020年，多标签学习（multi-label）有了哪些新的进展？
深度学习底层开发对数学有哪些要求？
面试官如何判断面试者的机器学习水平？
有哪些深度学习效果不如传统方法的经典案例？
医学生学习机器学习该如何入门？
如果百年后深度学习最终有了公认的数学理论作为基础，能解释实验中的各类玄学，那这个理论会长什么样子？
一个完整的Pytorch深度学习项目代码，项目结构是怎样的？
如何评价何恺明、Ross Girshick组的自监督时空表征学习新作？
如何评价沐神他们写的《动手学深度学习》这本书？
前一个讨论
如果印度不退兵，中国会不会出手教训印度？
下一个讨论
如何看待美团这次的外卖分箱行为？
相关的话题
pytorch 的高层库ignite怎么样？如何评价 CVPR 2020的论文接收结果？有哪些亮点论文？
如何评价2020年计算机视觉顶会CVPR投稿量破万的现象？
从应用的角度来看，深度学习怎样快速入门？
如何评价 马毅教授 的 NeurIPS 2020 中稿文章 MCR2 及 自称弄明白深度学习了？
如何看待 Richard Sutton 说的「人工智能中利用算力才是王道」？
对于神经网络，硕士博士不需要弄明白原理，只需要应用，是这样吗？
物理专业的学生如何看待机器学习和大数据这些方向呢？
为什么VAE-GAN的训练很容易发生梯度爆炸，如何避免？
为啥gan里面几乎不用pooling？
在算力充沛，深度学习模型大行其道的今天，传统机器学习的未来在哪里？
如何评价 马毅教授 的 NeurIPS 2020 中稿文章 MCR2 及 自称弄明白深度学习了？
人工智能 CV 岗位是不是现在供严重大于需？
算法工程师是否应该持续读论文？
有什么算法能对一个长短不一的时间序列进行分类预测?
如何计算CNN中batch normalization的计算复杂度（FLOPs）？
NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么？
为什么强大的 MXNet 一直火不起来？
PyTorch中在反向传播前为什么要手动将梯度清零？
为什么Transformer要用LayerNorm？
对于神经网络，硕士博士不需要弄明白原理，只需要应用，是这样吗？
如何评价 DeepMind 公布的可生成算法竞赛解题代码的 AlphaCode？
有哪些比较好的机器学习，深度学习的网络资源可利用？
如何评价FAIR提出的MaskFeat：一种适用图像和视频分类的自监督学习方法？
为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？
计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些？
如何看待 2014 年以来计算机视觉（Computer Vision）界创业潮？
如何评价深度学习相关顶级期刊论文难复现的问题？
深度学习有哪些好玩的案例？
有没有什么可以节省大量时间的 Deep Learning 效率神器？