卷积神经网络中卷积核是如何学习到特征的？ 第1页
1
liustein 网友的相关建议:
保证不了，所以要高度过参数化，保证有大量的种子选手可供选择，最后总会有幸运儿学到特征。
所以参数对初始化非常敏感，重新初始化一下，网络内部结构会完全改变。这个就类似于蝴蝶效应，有一个卷积核向某个方向略偏了一下，结果正好撞上了狗屎运（梯度），居然恰好在对的位置，能获得越来越多的运气（梯度），学到的这个特征就会越来越肯定。
这也是为什么，训练好的神经网络，有用的部分不多，有用的部分只是因为运气好。而没有被梯度之神选中的牺牲品，如果一开始没得到梯度，就成了弃子了，之后就永远都得不到了！
梯度，永远滴神。 ——知乎 @霍华德
1
相关话题
神经网络中的能量函数是如何定义的？如何看待Geoffrey Hinton的言论，深度学习要另起炉灶，彻底抛弃反向传播？
为什么现在很多人不看好商汤科技？
为何以范剑青老师的 Sure Independence Screening 为代表的筛选法没有流行呢？
结合深度学习的图像修复怎么实现？
Transformer是如何处理可变长度数据的？
TensorFlow 有哪些令人难以接受的地方？
如何评价CVPR2019程序主席Derek Hoiem的论点：计算机视觉只是记忆，不是智能？
卷积神经网络（CNN）的结构设计都有哪些思想？
AMD的CPU是否适合搭建深度学习主机？
前一个讨论
工作之后，顶会还重要吗？
相关的话题
在机器学习模型的训练期间，大概几十分钟到几小时不等，大家都会在等实验的时候做什么？如何看待MXNet获得amazon官方支持首位？
什么是meta-learning?
如何评价基于游戏毁灭战士（Doom）的AI死亡竞赛大赛结果？
如何证明数据增强（Data Augmentation）有效性？
如何评价 DeepMind 发表在 Nature 上的使用深度强化学习对托卡马克等离子体进行磁控制？
为什么强大的 MXNet 一直火不起来？
ICLR 2018 有什么值得关注的亮点？
是不是并不是所有问题都适合用神经网络预测？
如何通俗易懂地解释卷积？
如何评价 UCLA 朱松纯教授近日访谈中对深度学习的批评？
有哪些关于机器学习的真相还鲜为人知？
目标检测算法中Two-stage算法速度慢,到底在哪里?
scikit-learn, tensorflow, pytorch真的只需要查下API，不需要学吗?
机器学习中的机器是如何分辨哪些是有用的知识，哪些是没用的信息呢？
AlphaGo 与李世石的对战会推动人类的极限还是机器学习的进步和觉醒？
如何看待多模态transformer，是否会成为多模态领域的主流？
计算机视觉是否已经进入瓶颈期？
adversarial training为什么会起作用？
如何评价Yann LeCun 说的「要研究机器学习，本科应尽量多学物理和数学课」？
如果有第谷的数据，现在的机器学习，深度学习有办法学出开普勒三定律吗？
卷积神经网络中卷积核是如何学习到特征的？
AI（或者说神经网络/深度学习）能够实现科学（尤其是物理学）研究中提出假设这一步嘛？
如何看UCBerkeley RISELab即将问世的Ray，replacement of Spark？
研一，在学机器学习和深度学习，为什么感觉越学越不会，怎么解决这个问题？
深度学习火热兴起后，隐马尔可夫模型（HMM）还有何独到之处，是不是几乎可被深度学习模型给替代了？
马上计算机研一，想问一下机器学习、深度学习…大家都是怎么入门的？
目前 AI 在疾病的诊断和治疗上，有哪些成功的应用？
视觉Transformer如何优雅地避开位置编码？
如何评价微软提出的无监督视觉模型BEiT：ImageNet达到88.6，ADE20K达到57.0？