卷积神经网络中卷积核是如何学习到特征的？ 第1页
1
liustein 网友的相关建议:
保证不了，所以要高度过参数化，保证有大量的种子选手可供选择，最后总会有幸运儿学到特征。
所以参数对初始化非常敏感，重新初始化一下，网络内部结构会完全改变。这个就类似于蝴蝶效应，有一个卷积核向某个方向略偏了一下，结果正好撞上了狗屎运（梯度），居然恰好在对的位置，能获得越来越多的运气（梯度），学到的这个特征就会越来越肯定。
这也是为什么，训练好的神经网络，有用的部分不多，有用的部分只是因为运气好。而没有被梯度之神选中的牺牲品，如果一开始没得到梯度，就成了弃子了，之后就永远都得不到了！
梯度，永远滴神。 ——知乎 @霍华德
1
相关话题
如何理解 inductive learning 与 transductive learning?在信号与系统这门课中，为什么要引入卷积运算，有什么好处？
2021 年了，机器/深度学习还有哪些坑比较好挖？
NLP文本匹配问题的本质是不是 对于要预测的句子，遍历候选句子 从训练数据集里寻找最相似的pair？
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
GPU 与 CPU 比较，为什么说 GPU 更适合深度学习？
如何评价MSRA最新的 Relation Networks for Object Detection？
如何评价 Kaiming 团队新作 Masked Autoencoders (MAE)？
有哪些优秀的深度学习入门书籍？需要先学习机器学习吗？
目标检测算法中Two-stage算法速度慢,到底在哪里?
前一个讨论
工作之后，顶会还重要吗？
相关的话题
有哪些比较好的机器学习，深度学习的网络资源可利用？ICLR 2022有哪些值得关注的投稿？
如何直观地解释 backpropagation 算法？
2021 年了，TensorFlow 和 PyTorch 两个深度学习框架地位又有什么变化吗？
如何直观地解释 backpropagation 算法？
搞机器学习的生环化材是天坑吗？
有什么深度学习数学基础书推荐？
百度在深度学习上使用Xilinx FPGA?
应届硕士毕业生如何拿到知名互联网公司算法岗（机器学习、数据挖掘、深度学习） offer？
2021年，作为算法工程师的你们会在CV业务落地上用Transformer吗？
ICLR 2022有哪些值得关注的投稿？
CTC和Encoder-Decoder有什么关系?
CPU和GPU跑深度学习差别有多大？
中科院某所研一新生，小样本学习、数据融合、强化学习、图神经网络、资源受限的计算这几个方向选哪个更好？
卷积神经网络中卷积核是如何学习到特征的？
attention跟一维卷积的区别是啥？
如何评价余凯创立的horizon robotics？
2020到2021年小样本学习取得重大进展了吗？
国内哪些公司在用caffe、torch、TensorFlow、paddle等框架，哪些在用自研框架？
你见过最差的算法工程师能差到什么程度？
目标检测中的mAP是什么含义？
深度学习方面还有什么Open Problem?
为什么现在有这么多人工智能无用论？
深度学习（机器学习）的下一步如何发展？
测试集在构造的时候需要人为控制其中应该正确的和应该错误的数据比例吗？
深度学习应用在哪些领域让你觉得「我去，这也能行！」？
如何评价贾扬清离职 Facebook？
NLP文本匹配问题的本质是不是 对于要预测的句子，遍历候选句子 从训练数据集里寻找最相似的pair？
如何判断两个Deep Learning 数据集的数据分布是否一致？
如何评价生成模型框架 ZhuSuan?