百科问答小站 logo
百科问答小站 font logo



卷积神经网络中卷积核是如何学习到特征的? 第1页

  

user avatar   liustein 网友的相关建议: 
      

保证不了,所以要高度过参数化,保证有大量的种子选手可供选择,最后总会有幸运儿学到特征。

所以参数对初始化非常敏感,重新初始化一下,网络内部结构会完全改变。这个就类似于蝴蝶效应,有一个卷积核向某个方向略偏了一下,结果正好撞上了狗屎运(梯度),居然恰好在对的位置,能获得越来越多的运气(梯度),学到的这个特征就会越来越肯定。

这也是为什么,训练好的神经网络,有用的部分不多,有用的部分只是因为运气好。而没有被梯度之神选中的牺牲品,如果一开始没得到梯度,就成了弃子了,之后就永远都得不到了!

梯度,永远滴神。 ——知乎 @霍华德



  

相关话题

  能否对卷积神经网络工作原理做一个直观的解释? 
  硕士方向,选择迁移学习还是自然语言处理? 
  如何评价Hinton在加拿大多伦多大学关于用“capsule”作为下一代CNN的演讲? 
  目前有哪些比较成功的人工智能应用? 
  如何评价谷歌大脑的EfficientNet? 
  深度学习图像处理什么时候用到GPU? 
  低分辨率图像相对于高分辨率图像在CNN中缺失了哪些特征? 
  神经网络为什么可以(理论上)拟合任何函数? 
  nlp有哪些值得完整实现一遍的算法? 
  为什么yolov5从零开始训练(不在ImageNet上预训练)能够达到如此高的性能? 

前一个讨论
工作之后,顶会还重要吗?
下一个讨论
多模态方面,有哪些牛组值得我们follow他们的工作?





© 2025-04-20 - tinynew.org. All Rights Reserved.
© 2025-04-20 - tinynew.org. 保留所有权利