你遇见过什么当时很有潜力但是最终没有流行的深度学习算法? 第1页
1
huo-hua-de-41 网友的相关建议:
提名Memory Networks
准确说Memory Networks并不只是一个模型，而是一套思路，使用外部的一个memory来存储长期记忆信息，因为当时RNN系列模型使用final state 存储的信息，序列过长就会遗忘到早期信息。
甚至，我觉得Memory Networks的思想后面启发了self-attention和transformer。最重要的就是提出了query - key - value思想，当时的该模型聚焦的任务主要是question answering，先用输入的问题query检索key-value memories，找到和问题相似的memory的key，计算相关性分数，然后对value embedding进行加权求和，得到一个输出向量。这后面就衍生出了self-attention里的Q，K，V表示，在self-attention里的Q=K=V，但早期的Memory Networks中可以看出，QKV其实是三个向量。
如今，Memory Networks已少有人提及，但它的思想已经被transformer继承，而transformer已经横扫NLP和CV等多个领域。突然有了一种“功成不必在我，而功成必定有我"的感慨。又联想到谭嗣同变法虽然失败了，但他又一个学生叫杨昌济，杨昌济又有一个学生叫毛泽东...
1
相关话题
有哪些手算对数的方法？attention跟一维卷积的区别是啥？
如何理解深度学习中的deconvolution networks？
A*寻路是一种广度优先搜索？
2021年，ncnn发展的如何了？
NLP文本分类的本质是不是其实是找相似，对于要分类的句子，在训练集里找最相似的句子？
如何看待Capsule Network在NLP领域的潜力？
如何评价英伟达于 GTC 2021 大会发布的基于 ARM 架构的 Grace CPU？
如何评价 UCLA 朱松纯教授近日访谈中对深度学习的批评？
如何评价深度学习之父Hinton发布的Capsule论文？
前一个讨论
CV方向多模态融合有哪些好的paper？
下一个讨论
国内有哪些不错的CV(计算机视觉)团队?
相关的话题
机器学习中有哪些形式简单却很巧妙的idea？GAN 真的创造了新的信息吗？
TensorFlow 中 padding 的 SAME 和 VALID 两种方式有何异同？
GAN（对抗生成网络）可以被用于哪些（商业或潜在商业）实际问题？
皮尔逊系数为什么要中心化？中心化之后有什么好处？
视觉算法的工业部署及落地方面的技术知识，怎么学？
K-means聚类算法中的K如何确定？
请问DeepMind和OpenAI身后的两大RL流派有什么具体的区别？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
如何评价 BERT 模型？
为什么神经网络具有泛化能力？
ICLR 2018 有什么值得关注的亮点？
当前人工智能特别是深度学习最前沿的研究方向是什么？
「数据结构」的主要内容有哪些，难度如何，怎样系统地学习？
请问人工神经网络中的activation function的作用具体是什么？为什么ReLu要好过于tanh和sigmoid function?
深度学习中，模型大了好还是小了好呢？
如何评价余凯在朋友圈发表呼吁大家用 caffe、mxnet 等框架，避免使用 TensorFlow？
人工智能会是泡沫吗？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
深度学习底层开发对数学有哪些要求？
训练过程中loss震荡特别严重，可能是什么问题？
数据挖掘与数据分析的主要区别是什么？
从应用的角度来看，深度学习怎样快速入门？
是不是并不是所有问题都适合用神经网络预测？
为什么做stacking之后，准确率反而降低了？
机器学习到底是什么，如何使用这项技术？
如何激怒一位人工智能（机器学习、深度学习、强化学习等）爱好者？
如何看待QQ邮箱翻译出他人的快递通知？
2019年NeurIPS有哪些糟糕的论文？
普通FPGA工程师怎样向人工智能靠拢？