卷积神经网络中卷积核是如何学习到特征的？ 第1页
1
liustein 网友的相关建议:
保证不了，所以要高度过参数化，保证有大量的种子选手可供选择，最后总会有幸运儿学到特征。
所以参数对初始化非常敏感，重新初始化一下，网络内部结构会完全改变。这个就类似于蝴蝶效应，有一个卷积核向某个方向略偏了一下，结果正好撞上了狗屎运（梯度），居然恰好在对的位置，能获得越来越多的运气（梯度），学到的这个特征就会越来越肯定。
这也是为什么，训练好的神经网络，有用的部分不多，有用的部分只是因为运气好。而没有被梯度之神选中的牺牲品，如果一开始没得到梯度，就成了弃子了，之后就永远都得不到了！
梯度，永远滴神。 ——知乎 @霍华德
1
相关话题
计算机视觉是否已经进入瓶颈期？为什么很少人用FFT加速CNN卷积层的运算？
transformer中的Q,K,V到底是什么？
大牛Bengio 团队最新的研究和我自己之前的研究成果重复了，应该怎么办？
有哪些LSTM(Long Short Term Memory)和RNN(Recurrent)网络的教程？
如何理解今年发表在JMLR上随机森林算法SPORF？
深度学习领域有哪些瓶颈？
有哪些可以自学机器学习、深度学习、人工智能的网站？
反馈控制理论在优化、机器学习等领域有哪些应用？
如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ?
前一个讨论
工作之后，顶会还重要吗？
相关的话题
如何看待华为 4 月 25 日发布的盘古智能大模型？在这个行业处于什么水平？主动学习（Active Learning）近几年的研究有哪些进展，现在有哪些代表性成果？
2019 秋招的 AI 岗位竞争激烈吗？
Transformer中的Mask矩阵已经有顺序了，能去掉position embedding吗?
有哪些令你印象深刻的魔改transformer？
深度学习attention机制中的Q,K,V分别是从哪来的？
为什么yolov5从零开始训练（不在ImageNet上预训练）能够达到如此高的性能？
机器学习小白来提问：关于联邦学习FedAVG和FedSGD的问题？
对自己深度学习方向的论文有idea，可是工程实践能力跟不上，实验搞不定怎么办？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
深度学习有哪些好玩的案例？
马上计算机研一，想问一下机器学习、深度学习…大家都是怎么入门的？
机器学习中有哪些形式简单却很巧妙的idea？
如何判断两个Deep Learning 数据集的数据分布是否一致？
GAN（对抗生成网络）可以被用于哪些（商业或潜在商业）实际问题？
怎样让机器有意识?
物理专业的学生如何看待机器学习和大数据这些方向呢？
Batch Normalization 训练的时候为什么不使用 moving statistics？
batchsize=1时可以用BN吗?
你实践中学到的最重要的机器学习经验是什么？
如何理解今年发表在JMLR上随机森林算法SPORF？
人工智能可以解决人类难题吗？
如何理解 Graph Convolutional Network（GCN）？
为什么有些学数学的看不惯甚至鄙视 Deep Learning？
如何评价Google发布的第二代深度学习系统TensorFlow?
深度学习中有哪些数据增强方法？
为什么机器学习解决网络安全问题总是失败?
如何看待旷视科技新产品监视学生上课？
上学和读书有什么区别?
如何看待 Google 既可以作 Inference，又可以作 Training 的新一代 TPU？