NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么？ 第1页
1
eric314 网友的相关建议:
bn其实一点都不好。个人认为bn是深度学习界有史以来最恶心的trick，实现起来一堆坑不说，加上bn以后你的输入都不iid了，要是在深度学习爆火以前有人提出bn，肯定会被统计学家打死……无奈它在图像识别上效果很好，大家只能忍了。
bn的主要作用是控制数值区间，让比较深的网络训练起来稳定性比较好，更不容易爆炸。但是初始化和调参其实可以部分解决这个问题，能不用bn的时候还是尽量不要用，尤其是做一个新的问题的时候，不要想当然就把bn塞进去。
顺便推荐一下selu，是一个有希望代替bn的研究方向https://www.zhihu.com/question/60910412/answer/181988782
1
相关话题
怎么选取训练神经网络时的Batch size?如何评价Hinton组的新工作SimCLR?
AMD 开源高性能机器智能库MIopen是否可以和cuDNN抗衡？
如何看待 Richard Sutton 说的「人工智能中利用算力才是王道」？
Word2vec 翻译到另一种语言，其向量空间之间的映射会不会是线性的？
机器学习中的机器是如何分辨哪些是有用的知识，哪些是没用的信息呢？
深度学习对图像的处理，为什么大多基于RGB，而没有其他色彩空间，比如HSV？
有哪些LSTM(Long Short Term Memory)和RNN(Recurrent)网络的教程？
人工智能就业前景越来越严峻了，你还在坚持吗？
DL框架的未来发展，TensorFlow/MXNet/PyTorch, 选哪个？
前一个讨论
如果印度不退兵，中国会不会出手教训印度？
下一个讨论
如何看待美团这次的外卖分箱行为？
相关的话题
nlp有哪些值得完整实现一遍的算法?类似AlphaGo一样的人工智能什么时候才可以击败RTS（如星际）顶级选手？
深度学习如何入门？
请问DeepMind和OpenAI身后的两大RL流派有什么具体的区别？
二分类问题，应该选择sigmoid还是softmax？
如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？
深度学习中有哪些数据增强方法？
深度学习中Attention与全连接层的区别何在？
batchsize=1时可以用BN吗?
如何评价各种关联因素分析算法,尤其是在算法效果对比方面?
如何理解Inductive bias？
Batch Normalization 训练的时候为什么不使用 moving statistics？
如何理解attention中的Q,K,V？
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
deepmind发表的neural processes(神经过程)，这个是怎么实现的呢？
如何评价FAIR提出的MaskFormer，在语义分割ADE20K上达到SOTA：55.6 mIoU？
如何看待Jeff Dean&Hinton投到ICLR17的MoE的工作？
batchsize=1时可以用BN吗?
如果学习从零开始学习Pytorch,有优秀的开源项目可以推荐吗？
AlphaGo 与李世石的对战会推动人类的极限还是机器学习的进步和觉醒？
有没有必要把机器学习算法自己实现一遍？
什么时候对数据进行[0,1]归一化，什么时候[-1,1]归一化，二者分别在什么场景？
如何看待End-to-End Object Detection with Transformers？
为什么在SGD中使用L1正则化很难获得稀疏性？
医学生学习机器学习该如何入门？
pytorch dataloader数据加载占用了大部分时间，各位大佬都是怎么解决的？
如何理解Inductive bias？
如何看待人工智能领域的很多专家认为「人工智能将对人类存亡造成威胁」的观点？
如何评价1700亿参数的GPT-3？
搞机器学习的生环化材是天坑吗？