卷积神经网络中卷积核是如何学习到特征的？ 第1页
1
liustein 网友的相关建议:
保证不了，所以要高度过参数化，保证有大量的种子选手可供选择，最后总会有幸运儿学到特征。
所以参数对初始化非常敏感，重新初始化一下，网络内部结构会完全改变。这个就类似于蝴蝶效应，有一个卷积核向某个方向略偏了一下，结果正好撞上了狗屎运（梯度），居然恰好在对的位置，能获得越来越多的运气（梯度），学到的这个特征就会越来越肯定。
这也是为什么，训练好的神经网络，有用的部分不多，有用的部分只是因为运气好。而没有被梯度之神选中的牺牲品，如果一开始没得到梯度，就成了弃子了，之后就永远都得不到了！
梯度，永远滴神。 ——知乎 @霍华德
1
相关话题
视觉算法的工业部署及落地方面的技术知识，怎么学？Batch Normalization 训练的时候为什么不使用 moving statistics？
如何评价Hinton组的新工作SimCLR?
CNN网络的pooling层有什么用？
如何评价deepmind最新在nature上发表的论文《在人工网络中用网格样表征进行基于向量的导航》？
nlp有哪些值得完整实现一遍的算法?
有哪些关于机器学习的真相还鲜为人知？
为什么在SGD中使用L1正则化很难获得稀疏性？
如何激怒一位人工智能（机器学习、深度学习、强化学习等）爱好者？
有哪些优秀的深度学习入门书籍？需要先学习机器学习吗？
前一个讨论
工作之后，顶会还重要吗？
相关的话题
mxnet的并行计算为什么这么牛，是什么原理？行人轨迹预测有哪些有效的方法和普遍的base方法？或者public dataset?
attention跟一维卷积的区别是啥？
如何评价 DeepMind 公司？
有哪些LSTM(Long Short Term Memory)和RNN(Recurrent)网络的教程？
NLP文本匹配问题的本质是不是 对于要预测的句子，遍历候选句子 从训练数据集里寻找最相似的pair？
2022 年初，你认为哪项成果代表了现在人工智能的最高水平？
CTC和Encoder-Decoder有什么关系?
有哪些人工智能上的事实，没有一定人工智能知识的人不会相信？
大家推荐一下，哪些学校的导师有在做量化交易、股票预测的？
神经网络的万能逼近定理已经发展到什么地步了？
如何看待End-to-End Object Detection with Transformers？
如何看待多模态transformer，是否会成为多模态领域的主流？
机器学习能否用于综合评价？具体怎么操作？
如何评价微软亚研院提出的把 Transformer 提升到了 1000 层的 DeepNet？
生成式对抗网络GAN有哪些最新的发展，可以实际应用到哪些场景中？
百度学术能否替代 Google 学术网站？有没有其他选择？
多任务学习成功的原因是引入了别的数据库还是多任务框架本身呢？
2020-2021年NLP有什么核心技术的更迭吗？或者有什么推动领域发展的paper吗？
有哪些LSTM(Long Short Term Memory)和RNN(Recurrent)网络的教程？
为什么强大的 MXNet 一直火不起来？
TVM 最新发布版本 0.3 有哪些亮点？
如何评价最近火热的对比学习，会引领预训练模型新的范式嘛?
如何看待Yoav Goldberg 怒怼来自MILA的GAN for NLG的paper?
深度学习中Attention与全连接层的区别何在？
深度学习做股票预测靠谱吗？
如何评价 Self-Normalizing Neural Networks 这篇论文?
如何评价FAIR提出的ConvNeXt：CNN匹敌Swin Transformer?
如何评价 Self-Normalizing Neural Networks 这篇论文?
如何计算CNN中batch normalization的计算复杂度（FLOPs）？