卷积神经网络中卷积核是如何学习到特征的？ 第1页
1
liustein 网友的相关建议:
保证不了，所以要高度过参数化，保证有大量的种子选手可供选择，最后总会有幸运儿学到特征。
所以参数对初始化非常敏感，重新初始化一下，网络内部结构会完全改变。这个就类似于蝴蝶效应，有一个卷积核向某个方向略偏了一下，结果正好撞上了狗屎运（梯度），居然恰好在对的位置，能获得越来越多的运气（梯度），学到的这个特征就会越来越肯定。
这也是为什么，训练好的神经网络，有用的部分不多，有用的部分只是因为运气好。而没有被梯度之神选中的牺牲品，如果一开始没得到梯度，就成了弃子了，之后就永远都得不到了！
梯度，永远滴神。 ——知乎 @霍华德
1
相关话题
如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？如何评价Deepmind自监督新作BYOL？
为什么有的论文放出训练好的模型和测试脚本，但不开源训练代码？
如何直观地解释 backpropagation 算法？
如何评价DALL-E模型的实现？
深度学习和强化学习之间的差别有多大？
为什么 MobileNet、ShuffleNet 在理论上速度很快，工程上并没有特别大的提升？
如何看待知乎的AI答主「四十二」？人工智能有可能理解生命的意义是什么吗？
AMD 开源高性能机器智能库MIopen是否可以和cuDNN抗衡？
计算机视觉和自然语言处理，哪个更具有发展前景呢，还是各有千秋呢？
前一个讨论
工作之后，顶会还重要吗？
相关的话题
主动学习（Active Learning）近几年的研究有哪些进展，现在有哪些代表性成果？新手如何实现个简单AutoML框架。有参考的github开源项目介绍吗？
你所在的研究领域里，有哪些工作的结果虽然不是造假，但是是精挑细选出来的?
为什么强大的 MXNet 一直火不起来？
算法岗位真的需要顶会才能入场吗？
机器学习包含哪些学习思想？
算法工程师是否应该持续读论文？
基于深度卷积神经网络进行人脸识别的原理是什么？
GAN的生成器是怎么产生图片的？
如何计算CNN中batch normalization的计算复杂度（FLOPs）？
神经网络中，bias有什么用，为什么要设置bias，当加权和大于某值时，激活才有意义？
在实际工程系统中，MPC太复杂，难以做到realtime。因此都利用数据，MPC对比RL还有优势么?
研一刚入学，从未接触过神经网络，python也是才开始学，现在导师要我做LSTM，我应该去学什么？
现在的人工智能是否走上了数学的极端？
视觉算法的工业部署及落地方面的技术知识，怎么学？
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？
DL/ML 模型如何部署到生产环境中？
机器学习里面的流形都是怎么用的？
如何评价 DeepMind 的新工作 AlphaCode?
Transformer是如何处理可变长度数据的？
如何评价清华大学发布的自研深度学习框架-计图(Jittor)？
能否对卷积神经网络工作原理做一个直观的解释？
大牛Bengio 团队最新的研究和我自己之前的研究成果重复了，应该怎么办？
多任务学习成功的原因是引入了别的数据库还是多任务框架本身呢？
TensorFlow的自动求导具体是在哪部分代码里实现的？
低分辨率图像相对于高分辨率图像在CNN中缺失了哪些特征？
围棋AI为什么没有下出同局？
如何评价 DeepMind 公司？
GAN:固定训练好的判别器网络，去指导训练生成器为什么不可以？
计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些？