你遇见过什么当时很有潜力但是最终没有流行的深度学习算法? 第1页
1
huo-hua-de-41 网友的相关建议:
提名Memory Networks
准确说Memory Networks并不只是一个模型，而是一套思路，使用外部的一个memory来存储长期记忆信息，因为当时RNN系列模型使用final state 存储的信息，序列过长就会遗忘到早期信息。
甚至，我觉得Memory Networks的思想后面启发了self-attention和transformer。最重要的就是提出了query - key - value思想，当时的该模型聚焦的任务主要是question answering，先用输入的问题query检索key-value memories，找到和问题相似的memory的key，计算相关性分数，然后对value embedding进行加权求和，得到一个输出向量。这后面就衍生出了self-attention里的Q，K，V表示，在self-attention里的Q=K=V，但早期的Memory Networks中可以看出，QKV其实是三个向量。
如今，Memory Networks已少有人提及，但它的思想已经被transformer继承，而transformer已经横扫NLP和CV等多个领域。突然有了一种“功成不必在我，而功成必定有我"的感慨。又联想到谭嗣同变法虽然失败了，但他又一个学生叫杨昌济，杨昌济又有一个学生叫毛泽东...
1
相关话题
在电子游戏中99%的暴击率、1%的爆伤和1%的暴击率、99%的爆伤，两者谁带来的收益更高？二分类问题，应该选择sigmoid还是softmax？
如果有一天人类被AI取代，他们将以什么样的方式生活，娱乐，工作？
算法老师劝学生放弃学习 JavaScript，我该怎么办？
三位物理学家与陶哲轩发现的特征向量全新求解公式，会给机器学习领域带来怎样的变化？
机器学习（machine learning）在经济学领域是否有应用前景？
有哪些令人拍案叫绝的算法？
给人指路，说左右和说东西南北在算法上哪个更优？
究竟什么是损失函数 loss function?
计算统计学（Computational Statistics）有什么好的资源和教材以及学习方法推荐？
前一个讨论
CV方向多模态融合有哪些好的paper？
下一个讨论
国内有哪些不错的CV(计算机视觉)团队?
相关的话题
DeepMind 再登 Nature，用 AI 破译古希腊文字，该成果会对人类历史研究带来什么影响？计算统计学（Computational Statistics）有什么好的资源和教材以及学习方法推荐？
如何看待Jeff Dean&Hinton投到ICLR17的MoE的工作？
Yann LeCun、Geoffrey Hinton或Yoshua Bengio能得图灵奖吗？
如何看待王思聪开始第二波抽奖，这轮抽奖结果的性别比是否会发生明显的变化？
GAN:固定训练好的判别器网络，去指导训练生成器为什么不可以？
算法工程师的落地能力具体指的是什么？
如何用一句话证明自然语言处理很难？
研一刚入学，从未接触过神经网络，python也是才开始学，现在导师要我做LSTM，我应该去学什么？
如何评价PyTorch 0.4.0？
你所在的研究领域里，有哪些工作的结果虽然不是造假，但是是精挑细选出来的?
你写过什么有趣的程序？
2021年了，如何评价微软亚研提出的对偶学习（Dual Learning）？
有没有可能让计算机去理解代码，从而写代码？
你见过哪些“人工智障”?
如何看待Tensor Comprehensions？与TVM有何异同？
贝叶斯深度学习是什么，和传统神经网络有何不同？
实验室一块GPU都没有怎么做深度学习？
什么是人工智能？人工智能、机器学习、深度学习三者之间有什么关系吗？
如何看待 2020 届校招算法工程师岗位求职人数远大于招聘岗位的现象？
batchsize=1时可以用BN吗?
CTR预估中怎样加入图片特征？图片特征怎么提取？
如何评价微软亚洲研究院提出的LightRNN？
如何看待鄂维南院士等发起的机器学习联合研讨计划（c2sml.cn）？
有哪些可以自学机器学习、深度学习、人工智能的网站？
如何看待百度无人车， 三千多个场景，一万多个if？
你认为最优美的数据结构是什么？
联邦学习/联盟学习 (Federated Learning) 的发展现状及前景如何？
相比于时下流行的机器学习方法（联接主义），传统的人工智能方法（符号主义）有什么独一无二的优势？
一个单链表，长度未知，如何快速的找出位于中间的那个元素？