你遇见过什么当时很有潜力但是最终没有流行的深度学习算法? 第1页
1
huo-hua-de-41 网友的相关建议:
提名Memory Networks
准确说Memory Networks并不只是一个模型，而是一套思路，使用外部的一个memory来存储长期记忆信息，因为当时RNN系列模型使用final state 存储的信息，序列过长就会遗忘到早期信息。
甚至，我觉得Memory Networks的思想后面启发了self-attention和transformer。最重要的就是提出了query - key - value思想，当时的该模型聚焦的任务主要是question answering，先用输入的问题query检索key-value memories，找到和问题相似的memory的key，计算相关性分数，然后对value embedding进行加权求和，得到一个输出向量。这后面就衍生出了self-attention里的Q，K，V表示，在self-attention里的Q=K=V，但早期的Memory Networks中可以看出，QKV其实是三个向量。
如今，Memory Networks已少有人提及，但它的思想已经被transformer继承，而transformer已经横扫NLP和CV等多个领域。突然有了一种“功成不必在我，而功成必定有我"的感慨。又联想到谭嗣同变法虽然失败了，但他又一个学生叫杨昌济，杨昌济又有一个学生叫毛泽东...
1
相关话题
人类大脑的聪慧程度以 IQ 为标准，那么人工智能的水平用什么指标来衡量呢？如何直观地解释 backpropagation 算法？
如何理解今年发表在JMLR上随机森林算法SPORF？
如何看待多模态transformer，是否会成为多模态领域的主流？
如何看待人工智能领域的很多专家认为「人工智能将对人类存亡造成威胁」的观点？
为什么说大模型训练很难？
2020-2021年NLP有什么核心技术的更迭吗？或者有什么推动领域发展的paper吗？
在算力充沛，深度学习模型大行其道的今天，传统机器学习的未来在哪里？
Evidential deep learning里一般怎么估计多标签分类的Uncertainty？
如何评价 Kaiming He 在 ICCV 2017 上拿下双 Best 的 paper？
前一个讨论
CV方向多模态融合有哪些好的paper？
下一个讨论
国内有哪些不错的CV(计算机视觉)团队?
相关的话题
你靠哪些讲解学会了曾经怎么也学不会的算法？如何看待学霸君的高考机器人 Aidam 高考全国文科数学卷考了 134 分？
如何评价Yann LeCun宣称『他已经做好放弃概率论的准备』？
为什么相比于计算机视觉(cv)，自然语言处理(nlp)领域的发展要缓慢？
能分享你收藏的国外AI talk, seminar平台或网站吗？
如何理解今年发表在JMLR上随机森林算法SPORF？
深度学习中有哪些数据增强方法？
数据结构与算法中，树一般会应用在哪些方面？为什么？
刷完算法导论和leetcode，能找到什么水平的工作？
哪本《数据结构与算法》最好？
如何评价第一局比赛 AlphaGo 战胜李世石？
深度学习领域有哪些瓶颈？
干支纪年法的算法是什么？
不觉得最大熵原理很奇怪吗？
机器学习中的PR曲线一定会过（1，0）这个点吗？
工程师简历写着「在微软传播性病」，骗过了 90% 公司的机器筛选，机器筛选简历那么不靠谱吗？
怎样从机器学习模型中获取知识？
计算机视觉和自然语言处理，哪个更具有发展前景呢，还是各有千秋呢？
应届硕士毕业生如何拿到知名互联网公司算法岗（机器学习、数据挖掘、深度学习） offer？
刷完算法导论和leetcode，能找到什么水平的工作？
可达矩阵算法的原理是什么？
能否使用神经网络来判断奇偶数？
到了 2022 年，人工智能有哪些真正可落地的应用？
机器学习最好的课程是什么？
有哪些比较好的元学习（meta learning）领域的学习资源？
如何评价余凯创立的horizon robotics？
机器学习的算法和普通《算法导论》里的算法有什么本质上的异同？
人工智能在发展到极高的程度之后能否算得上是一种生命？
基于大数据的个人信用体系有没有可能被滥用？
深度学习如何入门？