是不是并不是所有问题都适合用神经网络预测？ 第1页
1
yukio-2 网友的相关建议:
- 小样本情况，无论是低维还是高维，不如SVM和贝叶斯模型
- 低维数据，大样本量，不如各种ensemble类算法
- 以上主要问题在于过拟合，传统机器学习算法大部分对过拟合都有比较合理的解决方案，而神经网络基本只靠heuristic。dropout虽然在Bayesian deep learning里面有不错的意义，但只依靠dropout来做inference实践上未免有点单薄
- 低维时序数据，小样本量，大部分情况下比不过HMM，ARIMA一类的，比如语音识别里至今CNN没有比HMM效果好多少
- 三维的图像数据，神经网络参数量太大，虽然有不少文章voxel based cnn，我目前还没有复现过效果比较好的模型
- 上面的三维数据，有一种做法是多视角赤极投影，然后用LSTM去学，然而实数空间不存在一个SO(3)群到S2群的连续映射，因为二者不同构，所以即使你做出实验效果，也有可能是某种过拟合的结果
- 神经网络容易受到对抗样本的攻击，攻击很容易，防御十分困难，目前为止的大部分防御措施都被指出存在漏洞
- 不规则数据，比如说graph signal或者point cloud，虽然有不少文章都尝试graph signal上做卷积，但是目前为止，应用在复杂数据集上效果欠佳，而且数学研究者的工作与CS研究者的工作还有着巨大的隔阂
- 有一些文章用神经网络做图像去噪，这类的文章，凡声称自己是“盲”去噪，不加任何正则项先验项的，有一大部分连自己到底想做到什么样的目标都说不清
1
相关话题
深度学习领域，你心目中 idea 最惊艳的论文是哪篇？如何评价 MLSys 这个会议？
如何证明马尔科夫链一定会达到稳态？
基于深度学习的自然语言处理在 2016 年有哪些值得期待的发展？
GAN的生成器是怎么产生图片的？
自学深度学习是怎样一种体验？
神经网络分类训练后得到的是连续的数怎么离散？
如何看待何恺明最新一作论文Masked Autoencoders？
为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？
在文本分类任务中，有哪些论文中很少提及却对性能有重要影响的tricks？
前一个讨论
正负样本极不平衡的问题？
下一个讨论
怎样才能写出 Pythonic 的代码？
相关的话题
如何评价 2018 年度图灵奖颁发给三位深度学习之父？自己学习深度学习时，有哪些途径寻找数据集？
如何理解 Graph Convolutional Network（GCN）？
如何评价中科大实现了媲美人脑能效的类脑突触原型器件？
实验室一块GPU都没有怎么做深度学习？
image caption这个方向更偏向NLP还是CV？
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
为什么ViT里的image patch要设计成不重叠？
AAAI 2022有哪些值得关注的方向？
深度学习应用在哪些领域让你觉得「我去，这也能行！」？
二分类问题，应该选择sigmoid还是softmax？
为啥gan里面几乎不用pooling？
深度学习调参有哪些技巧？
深度学习中，模型大了好还是小了好呢？
人工智能技术会不会最终赶上微积分的历史地位？
Domain Adaptation学术上有哪些方向，还有哪些可做的地方？
类似AlphaGo一样的人工智能什么时候才可以击败RTS（如星际）顶级选手？
机器学习在理论经济学研究中有哪些可能的应用前景？
有哪些比较好的机器学习，深度学习的网络资源可利用？
GAN（对抗生成网络）可以被用于哪些（商业或潜在商业）实际问题？
人工智能领域有哪些精妙的数学原理？
有没有什么可以节省大量时间的 Deep Learning 效率神器？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
数据挖掘、机器学习、自然语言处理这三者是什么关系？这几个怎么入门啊？
为何中国人迷恋吴恩达的机器学习课？
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？
为什么softmax很少会出现[0.5，0.5]？
深度学习中Attention与全连接层的区别何在？
如何评价微软机器翻译在 WMT2017 中英翻译达到「人类水平」？
pytorch ddp训练中一个node fail，导致整个训练失败，有可能解决吗？