百科问答小站 logo
百科问答小站 font logo



卷积神经网络中卷积核是如何学习到特征的? 第1页

  

user avatar   liustein 网友的相关建议: 
      

保证不了,所以要高度过参数化,保证有大量的种子选手可供选择,最后总会有幸运儿学到特征。

所以参数对初始化非常敏感,重新初始化一下,网络内部结构会完全改变。这个就类似于蝴蝶效应,有一个卷积核向某个方向略偏了一下,结果正好撞上了狗屎运(梯度),居然恰好在对的位置,能获得越来越多的运气(梯度),学到的这个特征就会越来越肯定。

这也是为什么,训练好的神经网络,有用的部分不多,有用的部分只是因为运气好。而没有被梯度之神选中的牺牲品,如果一开始没得到梯度,就成了弃子了,之后就永远都得不到了!

梯度,永远滴神。 ——知乎 @霍华德



  

相关话题

  自学深度学习是怎样一种体验? 
  Resnet是否只是一个深度学习的trick? 
  为何感觉“知识蒸馏”这几年没有什么成果? 
  如何评价 7 月 31 日一流科技开源的深度学习框架 OneFlow? 
  现在的BERT等语言模型,最快训练要多久? 
  2020到2021年小样本学习取得重大进展了吗? 
  能否对卷积神经网络工作原理做一个直观的解释? 
  给男友配置一个适合做深度学习的电脑要多少钱? 
  为什么 larger batch size 对对比学习的影响比对监督学习的影响要大? 
  scikit-learn, tensorflow, pytorch真的只需要查下API,不需要学吗? 

前一个讨论
工作之后,顶会还重要吗?
下一个讨论
多模态方面,有哪些牛组值得我们follow他们的工作?





© 2025-03-26 - tinynew.org. All Rights Reserved.
© 2025-03-26 - tinynew.org. 保留所有权利