你遇见过什么当时很有潜力但是最终没有流行的深度学习算法? 第1页
1
huo-hua-de-41 网友的相关建议:
提名Memory Networks
准确说Memory Networks并不只是一个模型，而是一套思路，使用外部的一个memory来存储长期记忆信息，因为当时RNN系列模型使用final state 存储的信息，序列过长就会遗忘到早期信息。
甚至，我觉得Memory Networks的思想后面启发了self-attention和transformer。最重要的就是提出了query - key - value思想，当时的该模型聚焦的任务主要是question answering，先用输入的问题query检索key-value memories，找到和问题相似的memory的key，计算相关性分数，然后对value embedding进行加权求和，得到一个输出向量。这后面就衍生出了self-attention里的Q，K，V表示，在self-attention里的Q=K=V，但早期的Memory Networks中可以看出，QKV其实是三个向量。
如今，Memory Networks已少有人提及，但它的思想已经被transformer继承，而transformer已经横扫NLP和CV等多个领域。突然有了一种“功成不必在我，而功成必定有我"的感慨。又联想到谭嗣同变法虽然失败了，但他又一个学生叫杨昌济，杨昌济又有一个学生叫毛泽东...
1
相关话题
未来十年，AI 将可能与哪些产业结合应用？产生怎样的价值？如何评价 Face++ 旷视科技最新出品的检测专用 backbone 网络 DetNet ？
国内 top2 高校研一在读，为什么感觉深度学习越学越懵?
如何评价第一局比赛 AlphaGo 战胜李世石？
支持向量机（SVM）是什么意思？
基于计算机视觉从一张图片重建人体的三维网格，能否获取腰围、胸围、臂长、腿长等数据？
如何评价 DeepMind 发表在 Nature 的论文公开无需人类棋谱的 AlphaGo Zero？
医学生学习机器学习该如何入门？
机器学习算法工程师如何自己接项目单干、并赚取比上班多得多的收入？
深度学习和强化学习之间的差别有多大？
前一个讨论
CV方向多模态融合有哪些好的paper？
下一个讨论
国内有哪些不错的CV(计算机视觉)团队?
相关的话题
有哪些解决完之后让你拍案叫绝的算法问题？领域自适应需要用到测试集数据，这样的方法有啥意义呢？
自然语言处理怎么最快入门？
CVPR 2019 有哪些值得关注的亮点？
机器学习以及贝叶斯统计里，关于近似intractable integral，大家都偏爱什么算法？
为什么现在的CNN模型都是在GoogleNet、VGGNet或者AlexNet上调整的？
如何评价 UCLA 朱松纯教授近日访谈中对深度学习的批评？
视觉算法的工业部署及落地方面的技术知识，怎么学？
基于计算机视觉从一张图片重建人体的三维网格，能否获取腰围、胸围、臂长、腿长等数据？
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
GPU 与 CPU 比较，为什么说 GPU 更适合深度学习？
神经网络，分类和回归问题，在网络结构上的区别是什么？分类比回归多一层softmax吗？诚心求教？
如何评价新Nature子刊Nature Machine Intelligence的出现？
如何评价 MSRA 最新的 Deformable Convolutional Networks？
现大二，准备做大学生创新创业项目计划 ，目前定的方向是深度学习+畜牧业／养殖业，有什么建议给我们吗？
对于编程思想和能力有重大提升的书有哪些?
如何解读 Jeff Dean 等联合在 arXiv 上发布的用深度学习分析电子病历的论文？
如何评价余凯在朋友圈发表呼吁大家用 caffe、mxnet 等框架，避免使用 TensorFlow？
高斯模糊的原理是什么，怎样在界面中实现？
干支纪年法的算法是什么？
如何看待 Richard Sutton 说的「人工智能中利用算力才是王道」？
常用的机器学习算法比较？
网络上一位长者提出了“完全不依靠人工神经网络与机器学习算法实现人工智能”的理论，大家怎么看？
为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？
有没有什么可以节省大量时间的 Deep Learning 效率神器？
哪些看似与图论无关的问题可用图论模型解决？
经过足够长的时间， AlphaGo 的棋谱能收敛到一张上吗？
如何看待KDD'21的文章，异质图神经网络的效果不如简单的GCN、GAT？
你遇见过什么当时很有潜力但是最终没有流行的深度学习算法?
怎么通过一维分布的随机样本推测原分布？