NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么？ 第1页
1
eric314 网友的相关建议:
bn其实一点都不好。个人认为bn是深度学习界有史以来最恶心的trick，实现起来一堆坑不说，加上bn以后你的输入都不iid了，要是在深度学习爆火以前有人提出bn，肯定会被统计学家打死……无奈它在图像识别上效果很好，大家只能忍了。
bn的主要作用是控制数值区间，让比较深的网络训练起来稳定性比较好，更不容易爆炸。但是初始化和调参其实可以部分解决这个问题，能不用bn的时候还是尽量不要用，尤其是做一个新的问题的时候，不要想当然就把bn塞进去。
顺便推荐一下selu，是一个有希望代替bn的研究方向https://www.zhihu.com/question/60910412/answer/181988782
1
相关话题
如何解决图神经网络（GNN）训练中过度平滑的问题？为什么在SGD中使用L1正则化很难获得稀疏性？
深度学习的多个loss如何平衡？
CVPR 2018 有什么值得关注的亮点？
如何看待 Google 围棋 AI AlphaGo 击败欧洲围棋冠军？
如何看待鄂维南院士等发起的机器学习联合研讨计划（c2sml.cn）？
现在互联网公司还有做特征工程的工作吗？
如何看待 Google 既可以作 Inference，又可以作 Training 的新一代 TPU？
如何评价1700亿参数的GPT-3？
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
前一个讨论
如果印度不退兵，中国会不会出手教训印度？
下一个讨论
如何看待美团这次的外卖分箱行为？
相关的话题
为什么CV能做到让一幅人脸图动了笑了，而NLP的text-style-transfer进展貌似一般？如何计算CNN中batch normalization的计算复杂度（FLOPs）？
学生网络用知识蒸馏损失去逼近教师网络，如何提高学生网络的准确率？
《人工智能训练师国家职业技能标准》发布，有哪些值得关注的信息？
如何看待 Google 围棋 AI AlphaGo 击败欧洲围棋冠军？
学生网络用知识蒸馏损失去逼近教师网络，如何提高学生网络的准确率？
pytorch dataloader数据加载占用了大部分时间，各位大佬都是怎么解决的？
如何评价Deepmind自监督新作BYOL？
如何评价Hinton在加拿大多伦多大学关于用“capsule”作为下一代CNN的演讲？
如何理解attention中的Q,K,V？
在实际工程系统中，MPC太复杂，难以做到realtime。因此都利用数据，MPC对比RL还有优势么?
如何评价Momenta ImageNet 2017夺冠架构SENet?
研一刚入学，从未接触过神经网络，python也是才开始学，现在导师要我做LSTM，我应该去学什么？
为什么ViT里的image patch要设计成不重叠？
NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么？
现在的BERT等语言模型，最快训练要多久？
在算力充沛，深度学习模型大行其道的今天，传统机器学习的未来在哪里？
深度学习领域有哪些瓶颈？
如果有第谷的数据，现在的机器学习，深度学习有办法学出开普勒三定律吗？
石头和塑料袋对于计算机传感器的差别在于什么？为什么无人驾驶系统会依然存在对周围环境的误判？
深度学习火热兴起后，隐马尔可夫模型（HMM）还有何独到之处，是不是几乎可被深度学习模型给替代了？
自监督学习（Self-supervised Learning）有什么比较新的思路？
为什么交叉熵（cross-entropy）可以用于计算代价？
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
如何看待华为 4 月 25 日发布的盘古智能大模型？在这个行业处于什么水平？
什么是迁移学习 (Transfer Learning)？这个领域历史发展前景如何？
如何评价何恺明等 arxiv 新作 Rethinking ImageNet Pre-training？
深度学习图像处理什么时候用到GPU？
如何比较Keras, TensorLayer, TFLearn ？
目前 AI 在疾病的诊断和治疗上，有哪些成功的应用？