NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么？ 第1页
1
eric314 网友的相关建议:
bn其实一点都不好。个人认为bn是深度学习界有史以来最恶心的trick，实现起来一堆坑不说，加上bn以后你的输入都不iid了，要是在深度学习爆火以前有人提出bn，肯定会被统计学家打死……无奈它在图像识别上效果很好，大家只能忍了。
bn的主要作用是控制数值区间，让比较深的网络训练起来稳定性比较好，更不容易爆炸。但是初始化和调参其实可以部分解决这个问题，能不用bn的时候还是尽量不要用，尤其是做一个新的问题的时候，不要想当然就把bn塞进去。
顺便推荐一下selu，是一个有希望代替bn的研究方向https://www.zhihu.com/question/60910412/answer/181988782
1
相关话题
如何看待鄂维南院士等发起的机器学习联合研讨计划（c2sml.cn）？DeepMind 研发的围棋 AI AlphaGo 是如何下棋的？
卷积神经网络如果将池化层去除，与神经网络的区别还大么？
如何评价 2018 年度图灵奖颁发给三位深度学习之父？
生成对抗网络的毕设怎么上手？
应该选择TensorFlow还是Theano？
2021年深度学习哪些方向比较新颖，处于上升期或者朝阳阶段，没那么饱和，比较有研究潜力？
在文本分类任务中，有哪些论文中很少提及却对性能有重要影响的tricks？
wav2vec中的30ms是怎么得来的?
请问一下，机器学习领域的联邦学习技术，目前看到最多的是微众银行，国内还有哪些顶级专家及机构和大学？
前一个讨论
如果印度不退兵，中国会不会出手教训印度？
下一个讨论
如何看待美团这次的外卖分箱行为？
相关的话题
行人轨迹预测有哪些有效的方法和普遍的base方法？或者public dataset?如何理解 natural gradient descent?
百度学术能否替代 Google 学术网站？有没有其他选择？
深度学习方面还有什么Open Problem?
机器之心提问：如何评价Facebook Training ImageNet in 1 Hour这篇论文?
研一刚入学，从未接触过神经网络，python也是才开始学，现在导师要我做LSTM，我应该去学什么？
使用强化学习解决实际问题时常常避不开环境模拟或者使用离线强化学习算法，两者分别有什么优缺点？
怎么选取训练神经网络时的Batch size?
为什么最近几年 FPGA 变得越发受大家重视了？
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
神经网络中的能量函数是如何定义的？
在文本分类任务中，有哪些论文中很少提及却对性能有重要影响的tricks？
2021年，ncnn发展的如何了？
如何评价谷歌大脑的EfficientNet？
如何评价CVPR2019程序主席Derek Hoiem的论点：计算机视觉只是记忆，不是智能？
分类机器学习中，某一标签占比太大（标签稀疏），如何学习？
目标检测中的mAP是什么含义？
如何看待谷歌公开 tensorflow 专用处理器 TPU?
了解/从事机器学习/深度学习系统相关的研究需要什么样的知识结构？
机器学习里面的流形都是怎么用的？
百度在深度学习上使用Xilinx FPGA?
有哪些LSTM(Long Short Term Memory)和RNN(Recurrent)网络的教程？
贝叶斯深度学习是什么，和传统神经网络有何不同？
机器学习中的机器是如何分辨哪些是有用的知识，哪些是没用的信息呢？
如何评价谷歌提出的 Pix2Seq：将目标检测看成语言建模，效果超过 DETR？
2020年，多标签学习（multi-label）有了哪些新的进展？
如何评价FAIR提出的MaskFeat：一种适用图像和视频分类的自监督学习方法？
mxnet的并行计算为什么这么牛，是什么原理？
机器学习能否用于综合评价？具体怎么操作？
大家用resnet50在imagenet上面top1最高能到多少？