你遇见过什么当时很有潜力但是最终没有流行的深度学习算法? 第1页
1
huo-hua-de-41 网友的相关建议:
提名Memory Networks
准确说Memory Networks并不只是一个模型，而是一套思路，使用外部的一个memory来存储长期记忆信息，因为当时RNN系列模型使用final state 存储的信息，序列过长就会遗忘到早期信息。
甚至，我觉得Memory Networks的思想后面启发了self-attention和transformer。最重要的就是提出了query - key - value思想，当时的该模型聚焦的任务主要是question answering，先用输入的问题query检索key-value memories，找到和问题相似的memory的key，计算相关性分数，然后对value embedding进行加权求和，得到一个输出向量。这后面就衍生出了self-attention里的Q，K，V表示，在self-attention里的Q=K=V，但早期的Memory Networks中可以看出，QKV其实是三个向量。
如今，Memory Networks已少有人提及，但它的思想已经被transformer继承，而transformer已经横扫NLP和CV等多个领域。突然有了一种“功成不必在我，而功成必定有我"的感慨。又联想到谭嗣同变法虽然失败了，但他又一个学生叫杨昌济，杨昌济又有一个学生叫毛泽东...
1
相关话题
计算流体力学（CFD）里应用注意力机制（attention）是否可行？如何比较Keras, TensorLayer, TFLearn ？
魔鬼如何在最短时间内抓住天使？
无人车为什么一定要用激光雷达做，双目视觉难道不行吗？
深度学习中，模型大了好还是小了好呢？
如何分配砝码使天平尽可能平衡？
自监督学习（Self-supervised Learning）有什么比较新的思路？
当前深度学习理论基础薄弱是否意味着我们应该放弃深度学习应用(计算机视觉、自然语言处理)？
为何中国人迷恋吴恩达的机器学习课？
如何评价生成模型框架 ZhuSuan?
前一个讨论
CV方向多模态融合有哪些好的paper？
下一个讨论
国内有哪些不错的CV(计算机视觉)团队?
相关的话题
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？为什么新增特征有时候会对模型带来负面影响？
军事级加密算法有哪些？
戴克斯特拉算法（Dijkstra）的本质是贪心，还是动态规划？
为何感觉“知识蒸馏”这几年没有什么成果？
算法岗诸神黄昏，算法初级职位内卷，如何选择适合自己的方向?
为什么都说神经网络是个黑箱？
用 Python 进行数据分析，不懂 Python，求合适的 Python 书籍或资料推荐？
现大二，准备做大学生创新创业项目计划 ，目前定的方向是深度学习+畜牧业／养殖业，有什么建议给我们吗？
有哪些深度学习效果不如传统方法的经典案例？
如何理解Inductive bias？
KL散度衡量的是两个概率分布的距离吗？
GAN生成的数据没有标签怎么用来训练分类模型？
如何解读「量子计算应对大数据挑战：中国科大首次实现量子机器学习算法」？
2021年，ncnn发展的如何了？
机器学习中常常提到的正则化到底是什么意思？
如何用一句话证明自然语言处理很难？
目前手势识别发展到什么水平了？
网上常能见到的一段 JS 随机数生成算法如下，为什么用 9301, 49297, 233280 这三个数字做基数？
如何看待知乎的AI答主「四十二」？人工智能有可能理解生命的意义是什么吗？
为什么在实际的kaggle比赛中，GBDT和Random Forest效果非常好？
想问下专业人士 OpenCv会被深度学习进一步取代吗进一步取代吗？
有监督和无监督学习都各有哪些有名的算法和深度学习？
2021年了，如何评价微软亚研提出的对偶学习（Dual Learning）？
如果想大体地了解凸优化和非凸优化中比较重要的概念、理论知识和算法应该看哪些书籍或者论文？
为何中国人迷恋吴恩达的机器学习课？
计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些？
如何将某个分布作为机器学习的特征？
5-10年后，你觉得哪些科技会让我们“遗忘”现在的生活？
神经网络能否代替决策树算法？