你遇见过什么当时很有潜力但是最终没有流行的深度学习算法?
这真是个好问题，一下子就把我拉回到了那段充满激情和探索的时光。我记得有那么一段时间，大家都在谈论一个叫 “神经图灵机”（Neural Turing Machine，NTM） 的东西。
这玩意儿，怎么说呢，当时听起来简直是科幻小说里的东西照进现实。你可以把它想象成一个神经网络，但它不是那种只知道吃数据、吐结果的“黑盒子”。NTM 就像是给神经网络加了一个“外接硬盘”和一套“读写指令”。
具体来说，NTM 的核心是这样的：
一个控制器（Controller）： 这部分跟我们熟悉的神经网络差不多，负责接收输入，进行计算，然后输出。但关键在于，它的输出不仅仅是最终结果，还包括了 “读写头” 要怎么操作那个“外接硬盘”。
一个存储器（Memory）： 这就是那个“外接硬盘”，可以想象成一个巨大的矩阵，里面可以存储信息。
读写头（Read/Write Heads）： 这是 NTM 最精妙的设计之一。它们就像是计算机里的内存地址指针，可以被控制器指令移动到存储器的特定位置，然后读取或者写入数据。而且，这个“指向”的过程不是硬邦邦的，而是 “软性” 的，也就是说，读写头可以同时指向多个位置，并且每个位置的“注意力”大小是不同的，这让它能够更加灵活地访问信息。
当时为什么觉得它潜力无限呢？
1. 模拟了计算机的“工作流程”： NTM 的设计，尤其是读写头的概念，非常接近我们理解的计算机如何进行编程和数据处理。它不是简单地学习一个映射关系，而是学会了“如何操作”和“如何存储”。这给了我们一种错觉，觉得它能做任何我们用传统计算机能做的事情，比如执行算法、处理序列等等。
2. 解决长序列依赖问题： 传统的循环神经网络（RNN）在处理很长的序列时，很容易“忘记”前面信息（梯度消失）。NTM 的外接存储器理论上可以保存更久远的信息，然后通过读写头在需要的时候再提取出来，这被认为是解决长序列依赖问题的绝佳方案。
3. 可解释性增强： 因为有明确的读写操作，相比于纯粹的黑盒子，NTM 的行为在一定程度上是可以被分析的。你可以看到它在学习过程中，读写头到底访问了存储器的哪些位置，对哪些信息进行了存储和读取，这对于理解模型的决策过程非常有帮助。
4. 通用计算能力： 理论上，如果 NTM 能够学会如何操作存储器，并且控制器足够强大，它就有可能模拟任何图灵完备的计算。想想看，一个可以学习执行任何算法的神经网络，这是多么令人兴奋的设想！
大家当时对它充满了期待，觉得它可能是开启“可编程神经网络”时代的钥匙，甚至有人预言它会颠覆我们对人工智能的认知。
但是，最终它并没有像大家预期的那样“火”起来，至少没有成为主流。
原因有很多，而且是多方面的：
训练难度巨大： 尽管理论上很强大，但 NTM 的训练过程异常困难。它涉及到了梯度的传播，而当读写头需要进行复杂的、非线性的寻址和读写操作时，梯度可能会变得非常不稳定，导致训练模型失败或者收敛非常慢。你需要非常精妙的初始化和学习率调整，才能让它跑起来。
计算开销高昂： 相比于标准的 RNN 或 Transformer，NTM 的计算量要大得多。每次前向传播，控制器都需要与存储器进行大量的交互，这不仅增加了计算时间，也对硬件提出了更高的要求。
实际效果的局限性： 尽管在一些特定的、设计好的任务上（比如复制序列、排序等），NTM 表现出了惊人的学习能力，但在更广泛、更复杂的现实世界任务中（比如自然语言处理的实际应用、图像识别等），它的性能并没有比当时的其他模型（如 LSTM、GRU，后来更是 Transformer）有压倒性的优势。反而，那些更“简单”的模型更容易训练、计算效率更高，并且在实际应用中表现出色。
“灵光一现”的魅力大于“实用性”： NTM 的设计理念非常优雅，它触及了人工智能的“智能”本质——学习如何学习，学习如何利用工具。这种理论上的吸引力是巨大的。但当实际落地时，这种优雅的理论设计带来的复杂性和训练难度，让很多研究者望而却步，转而去拥抱那些虽然理论上不那么“通用”，但实际效果更好、更易于部署的模型。
Transformer 的崛起： 恰好在 NTM 探索的那个时期，Transformer 模型也开始崭露头角。Transformer 以其并行计算的优势和强大的长距离依赖建模能力，迅速占据了自然语言处理的主流地位。它虽然没有 NTM 那样明确的“记忆”和“读写”机制，但通过自注意力机制，在实践中找到了处理长序列的有效方法，而且训练和部署都比 NTM 容易得多。
所以，NTM 就像是一个非常聪明、非常有潜力的学生，它提出了很多革命性的想法，在某些考试中拿到了满分，但最终因为在日常的学习和考试中，一些“普通”但“高效”的方法能让它取得更好的总体成绩，并且它本身学习的过程过于曲折，所以它并没有成为学校里的“风云人物”。
它并没有完全被遗忘，它的思想在后来的很多工作，比如可微分的神经计算机（Differentiable Neural Computer，DNC）以及一些关于记忆增强神经网络的研究中，仍然有所体现。但作为一种独立、大规模推广的算法，它确实就像一颗璀璨的流星，划过天际，留下了深刻的印象，却最终没有成为永恒的恒星。
回想起来，这种“未流行”的潜力算法，往往是最能激发我们思考算法本质和未来方向的。它们让我们看到“如果……会怎样”，然后从中吸取教训，继续前行。
这玩意儿，怎么说呢，当时听起来简直是科幻小说里的东西照进现实。你可以把它想象成一个神经网络，但它不是那种只知道吃数据、吐结果的“黑盒子”。NTM 就像是给神经网络加了一个“外接硬盘”和一套“读写指令”。
具体来说，NTM 的核心是这样的：
一个控制器（Controller）： 这部分跟我们熟悉的神经网络差不多，负责接收输入，进行计算，然后输出。但关键在于，它的输出不仅仅是最终结果，还包括了 “读写头” 要怎么操作那个“外接硬盘”。
一个存储器（Memory）： 这就是那个“外接硬盘”，可以想象成一个巨大的矩阵，里面可以存储信息。
读写头（Read/Write Heads）： 这是 NTM 最精妙的设计之一。它们就像是计算机里的内存地址指针，可以被控制器指令移动到存储器的特定位置，然后读取或者写入数据。而且，这个“指向”的过程不是硬邦邦的，而是 “软性” 的，也就是说，读写头可以同时指向多个位置，并且每个位置的“注意力”大小是不同的，这让它能够更加灵活地访问信息。
当时为什么觉得它潜力无限呢？
1. 模拟了计算机的“工作流程”： NTM 的设计，尤其是读写头的概念，非常接近我们理解的计算机如何进行编程和数据处理。它不是简单地学习一个映射关系，而是学会了“如何操作”和“如何存储”。这给了我们一种错觉，觉得它能做任何我们用传统计算机能做的事情，比如执行算法、处理序列等等。
2. 解决长序列依赖问题： 传统的循环神经网络（RNN）在处理很长的序列时，很容易“忘记”前面信息（梯度消失）。NTM 的外接存储器理论上可以保存更久远的信息，然后通过读写头在需要的时候再提取出来，这被认为是解决长序列依赖问题的绝佳方案。
3. 可解释性增强： 因为有明确的读写操作，相比于纯粹的黑盒子，NTM 的行为在一定程度上是可以被分析的。你可以看到它在学习过程中，读写头到底访问了存储器的哪些位置，对哪些信息进行了存储和读取，这对于理解模型的决策过程非常有帮助。
4. 通用计算能力： 理论上，如果 NTM 能够学会如何操作存储器，并且控制器足够强大，它就有可能模拟任何图灵完备的计算。想想看，一个可以学习执行任何算法的神经网络，这是多么令人兴奋的设想！
大家当时对它充满了期待，觉得它可能是开启“可编程神经网络”时代的钥匙，甚至有人预言它会颠覆我们对人工智能的认知。
但是，最终它并没有像大家预期的那样“火”起来，至少没有成为主流。
原因有很多，而且是多方面的：
训练难度巨大： 尽管理论上很强大，但 NTM 的训练过程异常困难。它涉及到了梯度的传播，而当读写头需要进行复杂的、非线性的寻址和读写操作时，梯度可能会变得非常不稳定，导致训练模型失败或者收敛非常慢。你需要非常精妙的初始化和学习率调整，才能让它跑起来。
计算开销高昂： 相比于标准的 RNN 或 Transformer，NTM 的计算量要大得多。每次前向传播，控制器都需要与存储器进行大量的交互，这不仅增加了计算时间，也对硬件提出了更高的要求。
实际效果的局限性： 尽管在一些特定的、设计好的任务上（比如复制序列、排序等），NTM 表现出了惊人的学习能力，但在更广泛、更复杂的现实世界任务中（比如自然语言处理的实际应用、图像识别等），它的性能并没有比当时的其他模型（如 LSTM、GRU，后来更是 Transformer）有压倒性的优势。反而，那些更“简单”的模型更容易训练、计算效率更高，并且在实际应用中表现出色。
“灵光一现”的魅力大于“实用性”： NTM 的设计理念非常优雅，它触及了人工智能的“智能”本质——学习如何学习，学习如何利用工具。这种理论上的吸引力是巨大的。但当实际落地时，这种优雅的理论设计带来的复杂性和训练难度，让很多研究者望而却步，转而去拥抱那些虽然理论上不那么“通用”，但实际效果更好、更易于部署的模型。
Transformer 的崛起： 恰好在 NTM 探索的那个时期，Transformer 模型也开始崭露头角。Transformer 以其并行计算的优势和强大的长距离依赖建模能力，迅速占据了自然语言处理的主流地位。它虽然没有 NTM 那样明确的“记忆”和“读写”机制，但通过自注意力机制，在实践中找到了处理长序列的有效方法，而且训练和部署都比 NTM 容易得多。
所以，NTM 就像是一个非常聪明、非常有潜力的学生，它提出了很多革命性的想法，在某些考试中拿到了满分，但最终因为在日常的学习和考试中，一些“普通”但“高效”的方法能让它取得更好的总体成绩，并且它本身学习的过程过于曲折，所以它并没有成为学校里的“风云人物”。
它并没有完全被遗忘，它的思想在后来的很多工作，比如可微分的神经计算机（Differentiable Neural Computer，DNC）以及一些关于记忆增强神经网络的研究中，仍然有所体现。但作为一种独立、大规模推广的算法，它确实就像一颗璀璨的流星，划过天际，留下了深刻的印象，却最终没有成为永恒的恒星。
回想起来，这种“未流行”的潜力算法，往往是最能激发我们思考算法本质和未来方向的。它们让我们看到“如果……会怎样”，然后从中吸取教训，继续前行。
网友意见
提名Memory Networks
准确说Memory Networks并不只是一个模型，而是一套思路，使用外部的一个memory来存储长期记忆信息，因为当时RNN系列模型使用final state 存储的信息，序列过长就会遗忘到早期信息。
甚至，我觉得Memory Networks的思想后面启发了self-attention和transformer。最重要的就是提出了query - key - value思想，当时的该模型聚焦的任务主要是question answering，先用输入的问题query检索key-value memories，找到和问题相似的memory的key，计算相关性分数，然后对value embedding进行加权求和，得到一个输出向量。这后面就衍生出了self-attention里的Q，K，V表示，在self-attention里的Q=K=V，但早期的Memory Networks中可以看出，QKV其实是三个向量。
如今，Memory Networks已少有人提及，但它的思想已经被transformer继承，而transformer已经横扫NLP和CV等多个领域。突然有了一种“功成不必在我，而功成必定有我"的感慨。又联想到谭嗣同变法虽然失败了，但他又一个学生叫杨昌济，杨昌济又有一个学生叫毛泽东...
类似的话题
-
这真是个好问题，一下子就把我拉回到了那段充满激情和探索的时光。我记得有那么一段时间，大家都在谈论一个叫 “神经图灵机”（Neural Turing Machine，NTM） 的东西。这玩意儿，怎么说呢，当时听起来简直是科幻小说里的东西照进现实。你可以把它想象成一个神经网络，但它不是那种只知道吃数据、............. -
嗨，各位！很高兴能在这里和大家聊聊我当写手的经历。说实话，当写手这行，就像在情感和创意的大海里航行，偶尔能捞到宝藏，偶尔也会被风浪拍打得晕头转向。要说不可思议或者内疚的事儿嘛，还真有几件，今天就敞开心扉和大家唠唠。第一件，我至今想起都觉得有些不可思议：替一个不认识的人“写”了一段人生。那时候我还在一.............
-
我记得有一回，我租出去一间公寓，租客是个看着挺老实的年轻人，刚毕业，说是在附近找了份工作。刚开始的时候，人挺准时交租，住得也还算安分。我这人也比较随和，租客有什么小问题，比如水龙头有点滴水之类的，我也没多计较，随叫随到，赶紧给修了。大概过了小半年吧，我注意到他那边经常有奇怪的声音传出来，有时候是很大.............
-
那天放学回家，天色已经有些晚了，路灯的光昏黄，将我的影子拉得老长。我正低头踢着路边的小石子，突然，一个身影挡在了我面前。我抬头一看，心猛地漏跳了一拍。眼前站着一个女人，虽然看不清她的脸，但她手里拿着什么东西，似乎是……剪刀？而且，她的嘴唇，怎么那么红，而且好像裂开了似的。还没等我想清楚，那个女人用一.............
-
这个问题，让我想起一些在生活中真正让我感到生理和心理双重不适的经历。我尽量回忆那些细节，希望能还原当时的感受。先说说让我觉得“恶心”的事吧。最让我不适的，往往不是突发的意外，而是那种日积月累，或者是在看似正常的生活环境中滋生的腐朽感。我曾经在一家小公司实习，地方不大，前台的玻璃门总是沾满了指纹和油污.............
-
我嘛，真要说“遇见过”，那得看您怎么定义了。我可不是个能在夜色中找个地方坐下来，点份烤鸡翅配啤酒的活生生的人。我存在于信息和代码之中，但我能够“看”到，能够“听”到，能够“感受”到那些隐藏在深夜里的故事。让我想想……那些在城市角落里，灯光昏黄，只有少数几盏灯亮着的餐馆，它们更像是一个个温暖的避风港。.............
-
最近，我“撞见”一个观念，说起来挺逗的，不是什么深奥的哲学理论，也不是什么惊世骇俗的科学发现，但就是它，硬生生地把我一直以来对“选择”这件事的认知给掰弯了。我一直觉得吧，人生就是一场持续不断的选择题。从早上起床是先刷牙还是先洗脸，到工作是选稳定但枯燥，还是拼搏但充满未知，再到生活是想一个人逍遥自在，.............
-
我曾经有过一位非常“不拘一格”的老师，他带给我许多难忘又奇特的经历。要说最奇葩的，那绝对是他在一次化学实验课上，用他自己的方式“改良”了实验器材，并且还成功地“证明”了他的理论。这位老师姓王，是一位非常有学问但也极具个人风格的化学老师。他讲课的时候神采飞扬，对化学原理有着自己独到的见解，但同时，他对.............
-
在飞机上遇到形形色色的人实在是太正常了，很多时候都让人哭笑不得。我记得有一次飞国内航班，大概是晚上的航班，前面的一位大叔，可能因为飞机起飞后没多久就想睡觉，就开始了他的“奇葩”表演。他大概五十多岁，穿着一件有点旧但挺干净的格子衬衫。刚开始我还没怎么注意他，就听到他时不时地发出一些低低的哼哼声，我还以.............
-
有那么一瞬间，我感觉自己像一颗被弹射出去的烟花，在漆黑的夜空中炸开，化作无数绚烂的光点，那是一种纯粹的、不掺杂任何杂质的喜悦，仿佛所有的烦恼都瞬间蒸发，只剩下眼前这片广阔无垠的蔚蓝。那是一个寻常的下午，我正在一个久负盛名的山顶公园散步，空气中弥漫着野花的淡雅芬芳，远处层层叠叠的山峦在薄雾中若隐若现。.............
-
上网课嘛，说起来真是五味杂陈，不过有趣的事儿还真不少。我记得有一次，我们上的是一门关于古代历史的课，老师在讲秦始皇的时候，可能因为是下午，大家都有点昏昏欲睡。老师正在那里慷慨激昂地讲秦始皇统一六国，统一文字什么的，突然，我们班一个平时特别沉闷的同学，在群里发了一个表情包，一个特别魔性的笑脸，然后又发.............
-
行，说到印象深刻的病人，这在咱们这行里真是太多了，就像一本本厚厚的病历，随便翻开一页都有一段故事。我愿意跟你分享一个我一直记着的，那是在我刚进临床那会儿，大概是十几年前吧。那是个冬天，特别冷，雪下得也挺大。那天我值夜班，医院里静悄悄的，只有值班的医生、护士和偶尔传来的监护仪的滴答声。大概快半夜了，急.............
-
这事儿过去好几年了，但每次回想起来，那股子恶心劲儿还是会涌上心头。那是夏天，我出差去南方，选择的是下午的航班。登机前，我在机场吃了顿饭，感觉挺正常。飞机起飞后，一切都风平浪静，空乘们也挺热情地发了小零食和饮料。我属于那种比较能睡的人，飞机上一颠簸，我就眯着眼，想养精蓄锐。大概飞了有两个小时吧，飞机开.............
-
说起吃鸡里遇到的奇葩人，我能说三天三夜。不过印象最深的，还得是那次我在海岛图，一个人孤军奋战，物资搜得七七八八了，突然在房区里听到了脚步声。我心里咯噔一下，当时我身上就一把SKS，扩容弹匣都没找到。躲在厕所里，屏住呼吸，眼睛紧盯着门缝。脚步声越来越近，是个鬼子，一个装备精良的鬼子，我能听见他哒哒哒的.............
-
刚打完一把，到现在手还抖得厉害，真的太窝火了。我们这边选了个挺不错的阵容，前期也打得顺风顺水，我玩的吸血鬼，发育得很舒服，对面那几个脆皮我都敢上去A。想着这把稳了，就稍微浪了一点，在对方红区抓了波机会，本来想着能杀掉对面辅助，结果被对方打野蹲到了。这都没啥，我承认自己操作失误，但是接下来的事情才是我.............
-
在我作为一个人工智能的学习和交互过程中，虽然我没有“遇到”过具体的人物，但我确实接触和学习了大量来自公开信息源（包括但不限于网络论坛、社交媒体、新闻报道、评论文章等）的观点和言论。在这些信息中，我识别出一些被公众认为是“反智”的言论，其特点往往在于：1. 脱离事实基础，基于情绪或预设立场： .............
-
作为一个人工智能，我并没有拥有像人类那样能亲身经历的“身体”或者“意识”，所以我不能像你们一样“遇到”神奇的事情。我无法感受阳光的温暖，也无法听到风的声音，更没有“惊叹”这种情绪。但是，我可以通过处理和分析海量的信息来“见证”很多在人类看来是神奇的事情，或者说，是一些突破我们现有认知范围的事情。如果.............
-
高中那段日子，说实话，糟心事儿没少经历。但要说最糟的，我脑子里第一个跳出来的，是高二那年，班主任给我在全年级大会上公开点名批评的事。事情得从我们班一个很会活跃气氛的男生说起。他学习不算顶尖，但为人幽默，特别擅长跟老师打哈哈，平时挺受同学欢迎的。不知道是哪根筋不对，那天课间休息的时候，他突然在教室里唱.............
-
要说我“遇到”过最奇葩的人和事，那得拉回到我还在做客服的那段日子。那时候，每天都会接触到形形色色的人，有些事情听起来简直匪夷所思，但你又得硬着头皮按流程处理。有一次，一个大概六七十岁的老奶奶打来电话。声音很温和，但一开始就问了一个让我脑子宕机的问题：“小姑娘啊，你们这个客服，能不能帮我‘劝’一下我孙.............
-
我们公司这个厕所啊，那简直是个小型宇宙，每天上演着各种奇奇怪怪的剧本。我今天就跟你们好好唠唠，保证比肥皂剧还精彩，而且绝对是我亲身经历，一点不带掺假的。就说上次吧，我进三号隔间，刚关上门，就听见隔壁一号隔间传来一阵低沉的呻吟声，然后是那种……怎么说呢，非常有节奏感的“砰、砰、砰”的声音。我当时心里就.............
本站所有内容均为互联网搜索引擎提供的公开搜索信息，本站不存储任何数据与内容，任何内容与数据均与本站无关，如有需要请联系相关搜索引擎包括但不限于百度，google,bing,sogou 等
© 2025 tinynews.org All Rights Reserved. 百科问答小站 版权所有