卷积神经网络中卷积核是如何学习到特征的？ 第1页
1
liustein 网友的相关建议:
保证不了，所以要高度过参数化，保证有大量的种子选手可供选择，最后总会有幸运儿学到特征。
所以参数对初始化非常敏感，重新初始化一下，网络内部结构会完全改变。这个就类似于蝴蝶效应，有一个卷积核向某个方向略偏了一下，结果正好撞上了狗屎运（梯度），居然恰好在对的位置，能获得越来越多的运气（梯度），学到的这个特征就会越来越肯定。
这也是为什么，训练好的神经网络，有用的部分不多，有用的部分只是因为运气好。而没有被梯度之神选中的牺牲品，如果一开始没得到梯度，就成了弃子了，之后就永远都得不到了！
梯度，永远滴神。 ——知乎 @霍华德
1
相关话题
如何评价基于游戏毁灭战士（Doom）的AI死亡竞赛大赛结果？为什么都说神经网络是个黑箱？
算法岗位真的需要顶会才能入场吗？
如何评价微软提出的无监督视觉模型BEiT：ImageNet达到88.6，ADE20K达到57.0？
如何评价MXNet发布的1.0版本？
在NLP上，CNN、RNN（认为LSTM等变体也是RNN）、最简单全连结MLP，三者相比，各有何优劣?
为什么神经网络具有泛化能力？
搞机器学习的生环化材是天坑吗？
卷积神经网络（CNN）的结构设计都有哪些思想？
国内 top2 高校研一在读，为什么感觉深度学习越学越懵?
前一个讨论
工作之后，顶会还重要吗？
相关的话题
深度学习图像处理什么时候用到GPU？有什么深度学习数学基础书推荐？
多任务学习成功的原因是引入了别的数据库还是多任务框架本身呢？
深度学习方面还有什么Open Problem?
如何评价AlphaGo Zero？
image caption这个方向更偏向NLP还是CV？
学生网络用知识蒸馏损失去逼近教师网络，如何提高学生网络的准确率？
除了深度神经网络已经实现的特性以外，大脑还有哪些特性是值得机器学习领域借鉴的？
深度学习在生物信息领域有什么应用？
科研时，想到一个idea，其实现的结果一定要比前人的评估指标高才能发表吗？
马上计算机研一，想问一下机器学习、深度学习…大家都是怎么入门的？
2019年NeurIPS有哪些糟糕的论文？
CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）的内部网络结构有什么区别？
BERT中，multi-head 768*64*12与直接使用768*768矩阵统一计算，有什么区别？
2021年，作为算法工程师的你们会在CV业务落地上用Transformer吗？
视觉算法的工业部署及落地方面的技术知识，怎么学？
深度学习（机器学习）的下一步如何发展？
除了深度学习，机器学习领域近年来还有什么热点吗？
新手如何入门pytorch？
2021年深度学习哪些方向比较新颖，处于上升期或者朝阳阶段，没那么饱和，比较有研究潜力？
如何评价2020年计算机视觉顶会CVPR投稿量破万的现象？
视觉Transformer如何优雅地避开位置编码？
目标检测中的mAP是什么含义？
如何评价 DeepMind 发表在 Nature 的论文公开无需人类棋谱的 AlphaGo Zero？
国内哪些公司在用caffe、torch、TensorFlow、paddle等框架，哪些在用自研框架？
如何评价CUHK以及Yuanjun Xiong提出的Trajectory Convolution？
2020年，多标签学习（multi-label）有了哪些新的进展？
attention跟一维卷积的区别是啥？
人工智能在生活中的应用都有哪些？
如何评价Hinton组的新工作SimCLR?