你遇见过什么当时很有潜力但是最终没有流行的深度学习算法? 第1页
1
huo-hua-de-41 网友的相关建议:
提名Memory Networks
准确说Memory Networks并不只是一个模型，而是一套思路，使用外部的一个memory来存储长期记忆信息，因为当时RNN系列模型使用final state 存储的信息，序列过长就会遗忘到早期信息。
甚至，我觉得Memory Networks的思想后面启发了self-attention和transformer。最重要的就是提出了query - key - value思想，当时的该模型聚焦的任务主要是question answering，先用输入的问题query检索key-value memories，找到和问题相似的memory的key，计算相关性分数，然后对value embedding进行加权求和，得到一个输出向量。这后面就衍生出了self-attention里的Q，K，V表示，在self-attention里的Q=K=V，但早期的Memory Networks中可以看出，QKV其实是三个向量。
如今，Memory Networks已少有人提及，但它的思想已经被transformer继承，而transformer已经横扫NLP和CV等多个领域。突然有了一种“功成不必在我，而功成必定有我"的感慨。又联想到谭嗣同变法虽然失败了，但他又一个学生叫杨昌济，杨昌济又有一个学生叫毛泽东...
1
相关话题
微信红包的随机算法是怎样实现的？如何评价百度自动驾驶 ApolloAuto 在 Github 上发布的代码？
在迁移学习中，只有fine-tune和基于实例的迁移可用在小样本上吗，还有其他的小样本迁移方法吗？
百度学术能否替代 Google 学术网站？有没有其他选择？
R 中的哪些命令或者包让你相见恨晚？
算法老师劝学生放弃学习 JavaScript，我该怎么办？
贝叶斯深度学习是什么，和传统神经网络有何不同？
人工智能和自动控制能在一起擦出什么样的火花？
想问下专业人士 OpenCv会被深度学习进一步取代吗进一步取代吗？
欧洲有哪些统计机器学习比较强的大学或者研究院的？？
前一个讨论
CV方向多模态融合有哪些好的paper？
下一个讨论
国内有哪些不错的CV(计算机视觉)团队?
相关的话题
联邦学习在机器学习领域有什么独立存在的价值?Kaggle如何入门？
你遇见过什么当时很有潜力但是最终没有流行的深度学习算法?
Jacobian矩阵和Hessian矩阵的作用是什么？
Evidential deep learning里一般怎么估计多标签分类的Uncertainty？
神经网络中 warmup 策略为什么有效；有什么理论解释么？
视觉算法的工业部署及落地方面的技术知识，怎么学？
目前有哪些比较成功的人工智能应用？
目前强化学习在控制领域的应用有哪些？
深度学习中Attention与全连接层的区别何在？
分类机器学习中，某一标签占比太大（标签稀疏），如何学习？
为什么最近几年 FPGA 变得越发受大家重视了？
如何评价Google发布的第二代深度学习系统TensorFlow?
目前有哪些比较成功的人工智能应用？
不觉得最大熵原理很奇怪吗？
土木和机器学习/深度学习/算法的交叉岗位在哪里找呀？ 在哪找都找不到招聘公司?
为什么 larger batch size 对对比学习的影响比对监督学习的影响要大？
如何评价微软新出的自拍软件 Microsoft Selfie？
在知乎你见过哪些明显抱团点反对的问题，对社区有怎样的影响，你有什么好的建议？
如何证明快速排序法的平均复杂度为 O(nlogn)？
哪些开发会用到微积分、离散数学、线性代数、概率论的知识？
计算流体力学（CFD）里应用注意力机制（attention）是否可行？
如何看待两次 IOI 金牌，一次 ACM 全球总决赛亚军的清华大学计算机系毕业生去高中当信息学教师？
有哪些深度学习效果不如传统方法的经典案例？
为什么dropout正则化经常在视觉方面使用而不是其他？
2018年了，MXNet 发展的如何了？
计算机开发岗和算法岗都有些什么区别？
为什么很少人用FFT加速CNN卷积层的运算？
如何评价基于游戏毁灭战士（Doom）的AI死亡竞赛大赛结果？
如何理解动态规划？