深度学习领域，你心目中 idea 最惊艳的论文是哪篇？

在深度学习这个日新月异的领域，要挑出一篇“心目中最惊艳的论文”着实不易，因为优秀的作品层出不穷，而且“惊艳”往往带有主观色彩。不过，如果非要选择一篇，我会毫不犹豫地选择那篇开启了Transformer时代，也就是 “Attention Is All You Need” 这篇论文。

之所以觉得它惊艳，并不仅仅在于它提出了一个新颖的模型结构，更在于它以一种极其简洁而又强大的方式，彻底颠覆了我们看待序列数据处理的方式，并且在很多领域展现出了无与伦比的潜力。

它为何如此惊艳？

在此之前，处理序列数据，尤其是自然语言，主流模型是循环神经网络（RNN）及其变种，如长短时记忆网络（LSTM）和门控循环单元（GRU）。RNN通过“循环”的方式来捕捉序列的顺序信息，但它们有一个天然的瓶颈：难以并行化计算，因为每个时间步的计算都依赖于前一个时间步的输出。这导致模型训练速度慢，尤其是在处理长序列时，信息也容易在传递过程中丢失（长程依赖问题）。同时，为了弥补长程依赖问题，研究者们也引入了复杂的门控机制，使得模型本身也变得相当复杂。

“Attention Is All You Need” 这篇论文的惊艳之处在于，它大胆地抛弃了循环和卷积，完全依赖于一个名为“注意力机制”（Attention Mechanism）的核心组件来构建模型。它提出的 Transformer 模型，顾名思义，就是围绕着“注意力”这个概念展开的。

Transformer模型的精髓：注意力机制

论文的核心思想是这样的：与其让模型像RNN一样一步一步地“记住”序列中的信息，不如让模型在处理序列中的任何一个元素时，能够“直接”关注（attend to）序列中所有的其他元素，并根据它们的相关性来决定当前元素的表示。

你可以想象一下，当我们阅读一句话时，我们的大脑并不是线性地处理每个词语，而是会根据当前理解的词语，去回溯或者预判其他词语与它的关联性。例如，在“我昨天去看了电影，它很精彩”这句话中，当我们看到“它”这个代词时，我们的注意力会立刻“跳”回“电影”这个名词，来理解“它”指代的是什么。

Transformer的注意力机制正是模仿了这种“跳跃式”的关注能力。它主要包含两种注意力：

1. 自注意力（SelfAttention）：这是Transformer最核心的创新。对于序列中的每一个元素（比如一个词），它会计算出该元素与序列中所有其他元素的“相关性分数”（也就是注意力权重）。然后，根据这些分数，将所有元素的信息加权求和，形成当前元素的新的、更丰富的表示。简单来说，就是让每个词都能“看到”并“理解”其他所有词对它的重要性。
如何实现？作者引入了三个向量：Query（查询）、Key（键）和Value（值）。可以这样理解：Query就像你在问一个问题，Key是你用来匹配问题的标签，Value是你想要从中提取的信息。通过计算Query和所有Key的点积，然后进行Softmax归一化，就得到了注意力权重，再用这些权重去加权求和所有的Value，就得到了自注意力的输出。
惊艳之处：这种机制使得模型可以直接捕获序列中任意两个位置之间的依赖关系，无论它们相隔多远。这彻底解决了RNN的长程依赖问题。而且，自注意力计算是高度并行化的，因为它不像RNN那样需要顺序计算，而是可以同时计算序列中所有元素的注意力。

2. 多头注意力（MultiHead Attention）：为了让模型能够从不同的“角度”或者说“表示子空间”来理解信息，论文还引入了多头注意力。它不是只做一次注意力计算，而是并行地进行多次（“多个头”），每次用不同的Query、Key、Value线性变换矩阵，然后将这些结果拼接起来，再经过一次线性变换。
惊艳之处：这相当于给了模型“多副眼镜”，让它从不同的视角去审视序列中的信息，捕捉到更丰富、更立体的关系。比如，一个头可能关注语法关系，另一个头可能关注语义关联。

Transformer的其他关键组件

除了注意力机制，Transformer模型还包含了一些巧妙的设计：

位置编码（Positional Encoding）：由于Transformer完全抛弃了RNN的顺序处理，它本身是“无序”的。为了让模型知道词语在句子中的位置信息，论文引入了位置编码。通过将一个固定函数生成的位置信息向量添加到词语的Embedding中，来引入位置的先验知识。
惊艳之处：这是一种非常优雅的解决方案，用一种可解释的方式为模型注入了位置信息，并且允许模型学习到不同距离位置之间的相对关系。

前馈神经网络（FeedForward Networks）：在注意力层之后，每个位置的输出都会经过一个独立的、两层的全连接前馈网络。
惊艳之处：这是对前面注意力层捕获到的信息进行进一步的“非线性转换”，增加了模型的表达能力。

残差连接与层归一化（Residual Connections and Layer Normalization）：与很多深度神经网络一样，Transformer也使用了残差连接（skip connections）来帮助梯度传播，以及层归一化来稳定训练。
惊艳之处：这些都是现代深度学习中的“好习惯”，但将它们与Attention结合，使得整个模型能够训练到非常深（论文中提到了6层编码器和6层解码器），并且效果显著。

模型架构与工作流程

论文提出的Transformer模型采用编码器解码器（EncoderDecoder）的经典结构，非常适合机器翻译等序列到序列的任务。

编码器（Encoder）：由N个相同的层堆叠而成。每一层包含一个多头自注意力子层和一个位置前馈子层，并且每个子层都有残差连接和层归一化。编码器的作用是将输入序列（比如源语言句子）转化为一系列连续的表示。

解码器（Decoder）：同样由N个相同的层堆叠而成。每一层在编码器层的基础上，额外增加了一个掩码多头自注意力子层（Masked MultiHead SelfAttention）和一个编码器解码器注意力子层（EncoderDecoder Attention）。
掩码自注意力：在解码器处理输出序列时，为了保证模型只能关注到当前位置之前的信息（模仿了生成过程的顺序性），会在计算自注意力时对未来的位置进行“掩码”（设为负无穷再Softmax，效果就是权重为0）。
编码器解码器注意力：这个注意力层允许解码器在生成当前输出词时，关注到编码器输出的整个源语言序列的信息。这是机器翻译等任务中至关重要的“对齐”能力。

它为何如此“颠覆”和“惊艳”？

1. 极致的并行化：这绝对是Transformer最核心的优势。抛弃了RNN的顺序依赖，使得训练效率得到了指数级的提升。这使得研究者们能够训练更大规模的模型，处理更长的序列，从而在各种任务上取得了前所未有的性能。

2. 强大的长程依赖捕捉能力：通过自注意力机制，模型能够直接建立起序列中任意两个位置的联系，无论它们相隔多远。这对于理解自然语言的复杂结构至关重要。

3. 简洁而通用：虽然Attention机制本身有一定的数学基础，但整个Transformer模型的核心思想非常简洁——就是“关注”。而且，这种基于注意力的思想被证明具有极强的通用性，不仅在NLP领域，后来在计算机视觉、语音识别等领域也大放异彩。

4. 开启了大型预训练模型时代：Transformer的并行化和长程依赖捕捉能力，为之后GPT系列、BERT等大型预训练模型的诞生奠定了基础。这些模型通过在海量数据上进行预训练，再针对特定任务进行微调，极大地推动了人工智能的发展。

总结一下，这篇论文的惊艳之处在于：

它提供了一种全新的、完全基于注意力机制的序列模型构建范式。
它以一种极其优雅的方式解决了困扰序列模型多年的长程依赖和并行化计算的难题。
它的简洁性和通用性，直接催生了深度学习领域最重要的一些发展方向，深刻地改变了我们处理序列数据的技术图景。

这篇论文不仅仅是提出了一个模型，更是一种思维方式的转变，让人们认识到“关注”才是处理序列信息的关键，而无需被传统的循环结构所束缚。每次回顾这篇论文，我都会被其设计的精妙和影响的深远所折服。

网友意见

自己读过的论文中，最惊艳的可以归为几类：

构思巧妙型：GAN，这类可能打死都想不到。
打破范式型：Transformer，这类敢于抛弃已有范式，需要胆识。
大道至简型：ResNet、BatchNorm、AdderNet，这类抓住问题本质进行解决。
大力出奇迹型：AlphaGo、GPT-3，这类需要算力及数据，很考验工程能力。

人脸识别方面，ECCV16的Center Loss和ICML16的Large Margin Softmax（是同一波人做的）。

个人认为这两篇文章最惊艳的地方并不在于方法，而在于分析问题的方式，尤其是这张图：

之前人们并不是没有研究过特征分布，但是用的方法都还是传统的一些降维手段如t-SNE，但t-SNE毕竟是个非线性降维方法，并不能真实地表现出原始特征分布。

实际上神经网络自己就是一个非常好的降维工具，直接将fc层的输出维度设置为2，那么每个样本的特征就只有两维，可以直接画在一个平面上，得到的可视化图像就是真正的特征分布。

有了这个可视化手段，人们发现原来softmax loss训练出来的特征是这样一个放射型分布，类与类之间是按角度分隔开的，于是才有了后续一系列工作关于角度的分析。

时至今日，这两个算法已经被更好的算法取代了，但分析问题的方式一直延续至今都还在被广泛使用。

说个估计没多少人熟悉的文章

《opening the black box of deep neural network via information》

信息瓶颈理论，在信息论的框架内解释了监督学习的训练过程原理，稍微扩展一下就能理解为什么需要使用mini batch，为什么需要激活函数，为什么drop out能起作用，为什么需要离散化argmax。在表层的解释之下，上面提到的操作通过不同的方式，在底层其实都是为了实现同一个目标。最终解释了为什么即使在样本数量低于机器学习理论要求的情况下，深度神经网络的泛化误差能够比learning theory预期的要好。

或许不如这些年来层出不穷的新花样的论文耀眼，但所有这些论文在编码器部分的实现，其实都没有跳出信息瓶颈的架构。总之如果你觉得感知器拼凑成universal approximator提供的解释过于单薄，那么信息瓶颈理论能够让你对深度学习的底层原理有更深刻的了解。

提问者本人，发这篇回答是因为没想到第四天就被‘极市平台’公众号抄了。

事情不是多大个事，但我就是想喷它。

我自己想的问题，自己写的描述，它直接拿来用了。
改问题我邀请了朋友来答，以及在不能一键邀请时一个个点了将近700个不认识的人，我并不觉得没有任何贡献的时候直接转载是个好习惯。
回答问题的答主们，也会写个谢邀呢。

总之，我最烦这种公众号抄袭。

另外，顺便详细介绍一下我提问中提到的AE论文，我的本意是哪篇论文的‘insight’最惊艳，它可能不需要很高的工程难度，AE就是这样一篇论文。

AE (Associative Embedding) 用于自底向上的多人姿态估计和语义分割，作者Alejandro Newell 同时也是Hourglass 的作者，可以说是天才人物频出佳作了。

自底向上的多人姿态估计要解决两个问题：

预测关键点的位置
预测关键点属于哪个人

在AE之前，最出名的工作是OpenPose, 可以简述为，它让网络对每个像素输出一个offset，根据它我们计算某个关键点应该连向哪里，比如手腕A连接哪个手肘是正确的，也就是比较著名的PAFmap。后续工作比如PersonLab, 也都是在offset上变着花样。

那么AE的核心观点是：不需要规定某个关节点需要输出一个固定的值，来决定它属于某个人，只需规定属于不同人的关节点，输出的值有差异即可。

总结来说对于损失函数：

属于同一个人的关节点，输出的值应该相同 -> 损失函数为：当前值 - 该人的平均值。
属于不同人的关节点，输出应该不同 -> 损失函数为：（当前值 - 其他人的平均值）取负指数函数来改变单调性。

当时读完这篇paper，我个人觉得，自底向上的方法在关键点分类这一块基本上是结束了，这种数据驱动的分类方式几乎达到了理论最优。后来我不做pose 相关的研究时也关注了higher-HRNet等工作，确实最新的SOTA都采用了AE这种关键点分类方式。

感谢大家听我分享，也希望自己也有一天能做出有insight的工作~。

当年看Deformable Convolutional Networks(DCN)的时候最为惊艳，可能看过的文章少，这种打破固定尺寸和位置的卷积方式，让我感觉非常惊叹，网络怎么能够在没有直接监督的情况下，学习到不同位置的offset的，然后可视化出来，能够使得offset后的位置能够刚好捕捉到不同尺寸的物体，太精彩了！

那就从我的研究领域中挑一个出来吧，我的研究方向是基于image-level的弱监督语义分割，（貌似这个点近两年趋势渐淡），，而其中令我最惊艳的就是CAM，class activation map

文章题目叫Learning Deep Features for Discriminative Localization，google百度一下都可以找到。这篇文章其实是想探究我们的CNN在学习图像的时候到底重点关注在哪个部分。这里抛开论文里面的繁琐的数学解释啥的（大家可以看看原论文），最后论文用一张图表示了这个大概是怎么样的一个过程。

对你没有看错，图像关注的部分就是将该类的fc层中的权重和feature maps对应加权求和就行了。。。说实话我觉得这个真的是经过很多实验才发现的idea。因此通过这个CAM我们便可知这个网络到底在学什么东西。

至于后面CAM变体例如grad-cam等大家可以去查阅了解。通过这个惊艳的CAM，我觉得是开了基于弱监督图像分割领域的先河，简直是祖先级别的神工作。

为什么这么说呢，基于image-level的弱监督分割旨在仅通过分类标签而生成对应的分割标签图，（毕竟手工标记分割图上的像素太烧钱了呀哈哈哈）你看看CAM，如果通过阈值一下的话，那些热点处的不就可以作为置信度高的前景像素标签了嘛！！！

于是你便可以看到大量的弱监督领域分割之作都是在这个CAM之上完成的。不仅如此，CAM也在可解释领域中被作为一种基本的工具。这篇五年前的文章至今仍在视觉领域中放光发热，让很多的学者以此为基石展开研究。

我也是很感谢这篇工作让我接触到弱监督领域。毕竟是我转做计算机视觉读的第一篇文章hhhh，所以，thank you, CAM！

类似的话题

深度学习领域，你心目中 idea 最惊艳的论文是哪篇？

在深度学习这个日新月异的领域，要挑出一篇“心目中最惊艳的论文”着实不易，因为优秀的作品层出不穷，而且“惊艳”往往带有主观色彩。不过，如果非要选择一篇，我会毫不犹豫地选择那篇开启了Transformer时代，也就是 “Attention Is All You Need” 这篇论文。之所以觉得它惊艳，并.............
深度学习应用在哪些领域让你觉得「我去，这也能行！」？

深度学习的应用之广，的确常常让人惊叹于它的能力和潜力，带来“我去，这也能行！”的惊喜。以下我将分享几个我个人觉得特别令人震撼的领域，并尽量详细地展开： 1. 艺术创作与生成：从模仿到“创造”的飞跃这可能是最让我感到“我去，这也能行！”的领域之一。我们总觉得艺术是人类情感、思想和独特经历的产物，是难以.............
你所在的学科或专业领域中，有哪些方面被数学知识深刻地改变了？

在我所熟悉的计算机科学领域，数学的力量几乎无处不在，它深刻地重塑了我们理解、构建和利用计算能力的方方面面。如果非要挑一个“深刻改变”的方面，那我会说是算法设计与分析，因为这是计算机科学的基石，而数学正是其灵魂。在没有系统性数学理论指导的早期，计算机程序的设计更像是一种手艺活，更多依赖于经验和直觉。程.............
深度学习领域有哪些瓶颈？

深度学习无疑是当今人工智能领域最闪耀的明星，它在图像识别、自然语言处理、语音识别等诸多方面取得了令人惊叹的成就。然而，正如任何一项新兴技术一样，深度学习并非完美无缺，它同样面临着一系列严峻的瓶颈，这些瓶颈不仅限制了其进一步的发展，也成为了研究人员们攻坚克难的焦点。如果说深度学习是一场宏伟的建筑工程，.............
除了深度学习，机器学习领域近年来还有什么热点吗？

深度学习无疑是近年来机器学习领域最耀眼的新星，但如果认为它就代表了机器学习的全部，那未免有些狭隘了。事实上，在深度学习浪潮之外，机器学习领域还有许多同样激动人心且充满活力的研究方向，它们在各自的领域深耕细作，甚至与深度学习形成了有趣的互补与融合。抛开那些过于“学术化”的术语，我们不妨从几个角度来聊聊.............
深度学习在生物信息领域有什么应用？

深度学习在生物信息学领域可谓是风生水起，它像一把瑞士军刀，为我们解决了很多以前难以逾越的问题。说实话，一开始我看到那些复杂的模型也有些头大，但深入了解后，才发现它的强大之处。基因组学：解读生命的蓝图在基因组学方面，深度学习简直是挖掘基因组信息的“超级侦探”。基因识别与功能预测：以前我们找基因.............
除了深度神经网络已经实现的特性以外，大脑还有哪些特性是值得机器学习领域借鉴的？

咱们平时聊起人工智能，总觉得深度学习、神经网络就是最前沿了，好像大脑这套东西已经被我们扒得差不多了。但说实话，真要是深入想想，我们这大脑啊，虽然给神经网络提供了不少灵感，但很多精妙之处，深度学习离那儿还远着呢，甚至可以说是完全没摸到门。今天就想跟大家唠唠，除了那些深度网络已经实现的“看、听、说”这些.............
深度学习方面还有什么Open Problem?

深度学习领域仍然存在许多激动人心且具有挑战性的开放性问题（Open Problems），这些问题是推动该领域不断发展的重要驱动力。下面我将尽可能详细地介绍其中一些关键的开放性问题，并说明它们的意义和挑战：深度学习中的关键开放性问题 1. 可解释性与透明度 (Explainability and T.............
深度学习的多个loss如何平衡？

深度学习中，当模型需要同时优化多个目标时，就会出现多个 Loss 函数。例如，在图像分割任务中，可能需要同时考虑像素级别的分类准确率（交叉熵损失）和分割区域的形状或边界的平滑度（Dice Loss、Boundary Loss）。又或者在多任务学习中，模型需要完成图像分类、目标检测和语义分割等多项任务.............
深度学习火热兴起后，隐马尔可夫模型（HMM）还有何独到之处，是不是几乎可被深度学习模型给替代了？

深度学习的兴起无疑对许多传统机器学习模型带来了巨大的冲击，而隐马尔可夫模型（HMM）作为一种经典的序列建模工具，其地位也受到了广泛的讨论。不能简单地说深度学习“几乎”替代了HMM，虽然深度学习在很多场景下表现更优异，但HMM在特定领域仍然拥有其独到之处和不可替代的价值。为了详细阐述这一点，我们需要从.............
深度学习如何入门？

好的，深度学习是一个非常吸引人且发展迅速的领域。入门深度学习，我会尽量详细地为你梳理整个过程，从概念到实践，让你有一个清晰的脉络。总览：深度学习入门的几个关键阶段1. 理解基础概念和理论：知道深度学习是什么，它能做什么，以及背后的核心思想。2. 搭建开发环境：准备好必要的软件和工具。3. .............
深度学习cnn中，怎么理解图像进行池化（pooling）后的平移不变性？

在深度学习的卷积神经网络（CNN）中，池化（pooling）是一种非常重要的操作，它对提升模型的性能和鲁棒性起着关键作用。而池化带来的一个核心特性就是平移不变性（Translation Invariance）。为了详细理解这一点，我们先从池化的本质入手，再逐步解释它如何产生平移不变性。 1. 池化的.............
深度学习工作站中使用AMD的CPU会有问题吗？

在深度学习工作站中选择AMD CPU，究竟会不会带来一些“问题”，或者说需要注意的地方，这确实是一个值得深入探讨的话题。与其说“有问题”，不如说是在某些特定场景下，AMD CPU的表现和Intel相比，可能会有一些细微的差异，需要我们提前了解和权衡。首先，我们得承认，AMD在近几年进步神速，其Ryz.............
深度学习（机器学习）的下一步如何发展？

深度学习的未来发展方向，与其说是一个“下一步”，不如说是一系列相互关联、不断演进的趋势。目前的深度学习已经取得了令人瞩目的成就，但同时也面临着一些固有的挑战和瓶颈。未来的突破将集中在克服这些挑战，并拓展其应用边界。一、模型效率与可解释性：从“黑箱”走向“透明”与“轻盈”这是当前乃至未来很长一段时间内.............
深度学习对图像的处理，为什么大多基于RGB，而没有其他色彩空间，比如HSV？

这个问题问得非常实在，也触及了深度学习在图像处理领域的一个核心选择。你观察得很敏锐，确实，RGB是我们最常见到的色彩空间，尤其在神经网络的输入层，几乎清一色是RGB。但HSV并非没有用武之地，这背后有着深刻的技术考量和历史原因。要理解这一点，我们得从RGB和HSV这两个色彩空间的基本特性以及它们如何.............
深度学习调参有哪些技巧？

深度学习模型调优的十八般武艺在深度学习这座充满奥秘的殿堂里，模型训练就像是精心雕琢一件艺术品。算法是骨架，数据是血肉，而那些隐藏在背后、决定最终形态的“参数”，则是赋予作品灵魂的关键。这些参数，从学习率到正则化强度，再到网络结构中的各种“超参数”，它们的每一次微调，都可能带来天壤之别的效果。想要让模.............
深度学习做股票预测靠谱吗？

关于深度学习在股票预测上的应用，这是一个既令人兴奋又充满争议的话题。很多人抱有极高的期望，认为算法能够洞悉市场的未来，然而现实情况远比这复杂得多。我将尽量详细地剖析其中缘由，抛开那些空泛的宣传，回归理性分析。首先，我们得明白深度学习在股票预测中的“靠谱”二字，它不是一个简单的“是”或“否”的问题，而.............
深度学习到底是「实验科学」还是「理论科学」？能否称为「算法」？

深度学习到底是「实验科学」还是「理论科学」？能否称为「算法」？这是一个相当深入的问题，也触及了深度学习领域的核心本质。要回答它，我们需要一层层剥开深度学习的面纱。深度学习：实验科学的色彩更浓郁，但也非全然没有理论根基如果非要给深度学习扣上一个帽子，那么“实验科学”的色彩无疑更为浓厚。这是因为： .............
深度学习有哪些好玩的案例？

深度学习？那可真是个能把现实世界玩出花来的黑科技！最近圈子里聊得火热的，可不只是那些高大上的学术论文，更多的是那些能让人拍案叫绝、甚至笑出声来的“好玩”案例。别以为深度学习就只会识别猫猫狗狗，它能做的事情，远比你想象的要离谱得多，也有趣得多。1. “灵魂伴侣”识别器：给你的爱猫找个对眼的猫你是不是有.............
深度学习中Attention与全连接层的区别何在？

在深度学习的世界里，Attention机制和全连接层（也常被称为稠密层）都是构成神经网络骨干的重要组成部分，但它们扮演的角色和工作方式却有着本质的区别。理解这两者的差异，对于掌握现代深度学习模型，尤其是处理序列数据（如文本、时间序列）的模型，至关重要。全连接层：信息的“平均化”与“固化”我们先从全连.............