卷积神经网络中卷积核是如何学习到特征的？ 第1页
1
liustein 网友的相关建议:
保证不了，所以要高度过参数化，保证有大量的种子选手可供选择，最后总会有幸运儿学到特征。
所以参数对初始化非常敏感，重新初始化一下，网络内部结构会完全改变。这个就类似于蝴蝶效应，有一个卷积核向某个方向略偏了一下，结果正好撞上了狗屎运（梯度），居然恰好在对的位置，能获得越来越多的运气（梯度），学到的这个特征就会越来越肯定。
这也是为什么，训练好的神经网络，有用的部分不多，有用的部分只是因为运气好。而没有被梯度之神选中的牺牲品，如果一开始没得到梯度，就成了弃子了，之后就永远都得不到了！
梯度，永远滴神。 ——知乎 @霍华德
1
相关话题
Graph Attention Network的本质是什么？深度学习应用在哪些领域让你觉得「我去，这也能行！」？
生成对抗网络的毕设怎么上手？
基于对比学习(Contrastive Learning)的文本表示模型【为什么】能学到语义【相似】度？
当前人工智能特别是深度学习最前沿的研究方向是什么？
2021年，作为算法工程师的你们会在CV业务落地上用Transformer吗？
对于神经网络，硕士博士不需要弄明白原理，只需要应用，是这样吗？
为什么有的论文放出训练好的模型和测试脚本，但不开源训练代码？
计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些？
BERT中，multi-head 768*64*12与直接使用768*768矩阵统一计算，有什么区别？
前一个讨论
工作之后，顶会还重要吗？
相关的话题
如何理解深度学习中的deconvolution networks？如何理解Inductive bias？
如何解决测试中充斥着大量训练集中没见过的样本类型模型将其识别成非我族类仍然保持测试集的高精度？
实验室只有1080的显卡，老师还想让发深度学习论文，也不给配置好的显卡怎么办？
如何评价哈工大的左旺孟老师？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
研一，在学机器学习和深度学习，为什么感觉越学越不会，怎么解决这个问题？
如何评价微软亚洲研究院提出的LightRNN？
如何理解深度学习中的deconvolution networks？
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
计算机视觉是否已经进入瓶颈期？
为什么Transformer适合做多模态任务？
如何评价 Exploring Simple Siamese Learning?
领域自适应需要用到测试集数据，这样的方法有啥意义呢？
人工智能领域有哪些精妙的数学原理？
如何评价 NVIDIA 发布的 DGX-1？
在推荐系统中，如何较好的采用深度学习方法获取用户长短期兴趣？
KL散度衡量的是两个概率分布的距离吗？
如何计算CNN中batch normalization的计算复杂度（FLOPs）？
DL/ML 模型如何部署到生产环境中？
在推荐系统中，如何较好的采用深度学习方法获取用户长短期兴趣？
联邦学习在机器学习领域有什么独立存在的价值?
在五到十年内，人工智能能复原成人影片中的被马赛克部分吗？
如何理解深度学习中的deconvolution networks？
有没有什么可以节省大量时间的 Deep Learning 效率神器？
如何系统学习机器学习？
学生网络用知识蒸馏损失去逼近教师网络，如何提高学生网络的准确率？
2019年CVPR有哪些糟糕的论文?
什么是迁移学习 (Transfer Learning)？这个领域历史发展前景如何？
有哪些可以自学机器学习、深度学习、人工智能的网站？