你遇见过什么当时很有潜力但是最终没有流行的深度学习算法? 第1页
1
huo-hua-de-41 网友的相关建议:
提名Memory Networks
准确说Memory Networks并不只是一个模型，而是一套思路，使用外部的一个memory来存储长期记忆信息，因为当时RNN系列模型使用final state 存储的信息，序列过长就会遗忘到早期信息。
甚至，我觉得Memory Networks的思想后面启发了self-attention和transformer。最重要的就是提出了query - key - value思想，当时的该模型聚焦的任务主要是question answering，先用输入的问题query检索key-value memories，找到和问题相似的memory的key，计算相关性分数，然后对value embedding进行加权求和，得到一个输出向量。这后面就衍生出了self-attention里的Q，K，V表示，在self-attention里的Q=K=V，但早期的Memory Networks中可以看出，QKV其实是三个向量。
如今，Memory Networks已少有人提及，但它的思想已经被transformer继承，而transformer已经横扫NLP和CV等多个领域。突然有了一种“功成不必在我，而功成必定有我"的感慨。又联想到谭嗣同变法虽然失败了，但他又一个学生叫杨昌济，杨昌济又有一个学生叫毛泽东...
1
相关话题
谈谈机器学习在网络安全领域的局限性，以及是否乐观？ICML2020有哪些值得关注的工作?
计算机开发岗和算法岗都有些什么区别？
为什么在R语言里多用<-而不是=表示赋值？
如何用最简单的语言统一描述多元函数求导（对向量求导、对矩阵求导等）？
百度学术能否替代 Google 学术网站？有没有其他选择？
如何评价移动端吊打一切万众期待的商汤深度学习推理框架PPL开源了却没有支持移动端？
为什么熵值最大的分布状态是正态分布而不是均匀分布？
微信红包的随机算法是怎样实现的？
如何评价余凯在朋友圈发表呼吁大家用 caffe、mxnet 等框架，避免使用 TensorFlow？
前一个讨论
CV方向多模态融合有哪些好的paper？
下一个讨论
国内有哪些不错的CV(计算机视觉)团队?
相关的话题
如果有第谷的数据，现在的机器学习，深度学习有办法学出开普勒三定律吗？现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
ICLR 2021 有什么值得关注的投稿？
运维监控的KPI异常检测 业界有哪些实用方法？
国内外有哪些做小样本学习(Few-Shot Learning)的优秀团队？
为什么现在的CNN模型都是在GoogleNet、VGGNet或者AlexNet上调整的？
机器学习中有哪些形式简单却很巧妙的idea？
网络上一位长者提出了“完全不依靠人工神经网络与机器学习算法实现人工智能”的理论，大家怎么看？
计算流体力学（CFD）里应用注意力机制（attention）是否可行？
如何评价 7 月 31 日一流科技开源的深度学习框架 OneFlow？
深度学习调参有哪些技巧？
要设计一段C++程序将这组数按要求重新排序时，有哪些好的算法？
深度学习如何入门？
请教拓扑排序中的一点疑问？
神经网络分类训练后得到的是连续的数怎么离散？
如何评价基于游戏毁灭战士（Doom）的AI死亡竞赛大赛结果？
GAN:固定训练好的判别器网络，去指导训练生成器为什么不可以？
据说机器学习长于预测，计量经济学长于解释。有什么具体例子是机器学习完成了很好的预测却在解释上表现不好？
如何看待SQuAD比赛中，阿里、MSRA机器阅读理解准确率超越人类？
Google 的神经网络生成图像 (Inceptionism) 是怎么做到的？
机器学习中的机器是如何分辨哪些是有用的知识，哪些是没用的信息呢？
有没有根据一张人物的立绘正面像，自动生成同风格各侧面角度像并自动衍生表情的软件啊？
如何评价余凯创立的horizon robotics？
如何全面理解工程师红利？
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
如何评价基于游戏毁灭战士（Doom）的AI死亡竞赛大赛结果？
为何以范剑青老师的 Sure Independence Screening 为代表的筛选法没有流行呢？
自己学习深度学习时，有哪些途径寻找数据集？
了解/从事机器学习/深度学习系统相关的研究需要什么样的知识结构？
如何评价Google Duplex（打电话AI）在特定领域已经通过了图灵测试？