2021年深度学习哪些方向比较新颖，处于上升期或者朝阳阶段，没那么饱和，比较有研究潜力？

2021年，深度学习领域依然生机勃勃，涌现出许多令人兴奋的新方向。如果你想找一些尚未被彻底“卷”透，并且充满研究潜力的领域，不妨关注以下几个方面：

1. 神经符号 AI（NeuroSymbolic AI）：弥合连接主义与符号主义的鸿沟

核心思想： 长期以来，深度学习（连接主义）和传统 AI（符号主义）是两个并行发展的体系。连接主义擅长从数据中学习模式，但缺乏可解释性和逻辑推理能力；符号主义则擅长逻辑推理、规划和知识表示，但对噪声和海量数据处理能力较弱。神经符号 AI 的目标是将两者的优势结合起来，构建既能从数据中学习，又能进行逻辑推理和知识整合的智能系统。
为什么新颖且有潜力？
解决深度学习的“黑箱”问题： 很多深度学习模型的决策过程难以解释，而神经符号 AI 引入了符号推理，可以提供更清晰的推理链条，增强模型的可信度。
提升泛化能力和鲁棒性： 结合逻辑规则和知识图谱，模型在面对未见过的数据时，能够利用已有的逻辑框架进行推理，从而提高泛化能力和对对抗性攻击的鲁棒性。
实现更高效的学习： 通过引入先验知识和逻辑约束，可以减少模型对数据的依赖，实现更少样本的高效学习。
应用场景广泛： 可以在需要高度可靠性和可解释性的领域，如医疗诊断、金融风控、自动驾驶的安全决策、法律判决辅助等方面发挥重要作用。
研究方向细分：
学习符号规则： 如何从原始数据中自动提取逻辑规则或知识表示，并将其融入神经网络。
符号推理与神经网络的融合： 设计能够同时处理连续向量和离散符号的架构，例如使用神经网络进行符号操纵，或者使用符号推理来指导神经网络的训练。
知识图谱与深度学习的结合： 利用知识图谱中的结构化知识来增强深度学习模型的理解和推理能力，例如知识图谱嵌入、图神经网络与知识图谱的结合等。
可解释的深度学习： 将神经符号方法作为一种强大的工具来解释和验证深度学习模型的行为。

2. 对比学习（Contrastive Learning）及其衍生：无需标注的强大表征学习

核心思想： 对比学习的核心思想是通过让模型学习区分“相似”样本和“不相似”样本来学习数据的表征。它通常通过构造正例（相似样本）和负例（不相似样本）对，然后训练模型最小化正例之间的距离，最大化负例之间的距离。
为什么新颖且有潜力？
解决数据标注瓶颈： 在许多领域，高质量的标注数据非常昂贵且难以获取。对比学习作为一种自监督学习方法，能够利用大量未标注数据进行有效的表征学习，极大地降低了对标注数据的依赖。
学习高质量的语义表征： 对比学习被证明能够学习到比传统自监督方法（如 Autoencoder）更丰富、更有用的语义信息，这使得其下游任务（如分类、检测、分割）的表现大幅提升。
在多模态学习中的优势： 对比学习在处理多模态数据（如图像文本、音频文本）时表现出色，可以通过学习不同模态数据之间的对应关系来对齐和理解信息。
研究方向细分：
更有效的正负例构建策略： 如何在海量数据中更有效地采样正例和负例，以获得更具区分度的表征。
对比目标函数的改进： 探索更优的损失函数，以进一步提升学习到的表征质量。
对比学习在特定领域的应用： 如在医学影像分析、材料科学、自然语言处理等领域，如何设计更贴合任务的对比学习方法。
非对比学习的表征学习： 探索除了对比之外的其他自监督学习范式，例如生成式或预测式的方法，但依然能够学习到高质量的表征。
对比学习与元学习的结合： 利用对比学习快速学习新的任务。

3. 图神经网络（Graph Neural Networks, GNNs）的泛化与扩展：处理更复杂的图结构数据

核心思想： 图神经网络是一类能够直接处理图结构数据的深度学习模型，通过在图的节点上迭代传播和聚合邻居信息来学习节点的表示。
为什么新颖且有潜力？
图结构无处不在： 现实世界中有大量数据天然地以图的形式存在，例如社交网络、分子结构、知识图谱、推荐系统中的用户物品交互、交通网络等。GNNs 为处理这些复杂关系数据提供了强大的工具。
超越传统特征工程： GNNs 能够自动学习图中节点之间的关系特征，避免了繁琐且可能不完备的手工特征工程。
模型能力的持续提升： 尽管 GNNs 已经取得了显著进展，但仍有许多挑战需要解决，例如过平滑问题、异质图的处理、动态图的建模等，这些都是重要的研究方向。
研究方向细分：
异质图神经网络（Heterogeneous GNNs）： 处理包含不同类型节点和边的图，例如社交网络中包含用户、文章、评论等多种实体。
动态图神经网络（Dynamic GNNs）： 处理随时间演变的图结构，例如实时社交网络、交通流量等。
克服过平滑问题： 设计能够保留节点局部信息的 GNNs，避免信息在多层传播后过度平滑导致节点表示趋同。
可解释的 GNNs： 理解 GNNs 在图上进行预测时是如何利用图结构和节点特征的，例如通过注意力机制或归因方法。
高阶图表示学习： 学习超越节点和边连接的更高阶的图结构信息。
GNNs 在生成模型中的应用： 例如用于分子生成、药物发现等。

4. 深度强化学习（Deep Reinforcement Learning, DRL）的新范式：更有效、更安全、更具泛化性

核心思想： 深度强化学习结合了深度学习强大的感知和表征能力与强化学习的决策能力，使得智能体能够在复杂环境中学习最优策略。
为什么新颖且有潜力？
持续的性能突破： DRL 在游戏、机器人控制、推荐系统等领域不断刷新纪录，展现出巨大的应用潜力。
解决现有 DRL 的瓶颈： 当前 DRL 面临着样本效率低、稳定性差、对环境变化敏感、安全性难以保证等问题，这些都是研究的重点和热点。
拓展到更广泛的实际应用： 将 DRL 应用于更复杂的真实世界场景，需要解决诸如探索效率、多智能体协作、离线强化学习、公平性等问题。
研究方向细分：
提高样本效率（Sample Efficiency）：
离线强化学习（Offline RL）/批强化学习（Batch RL）： 从固定的离线数据集中学习策略，而无需与环境进行新的交互，这在医疗、金融等领域至关重要。
元强化学习（MetaRL）： 让智能体具备“学会学习”的能力，能够快速适应新任务或新环境。
更有效的探索策略： 在信息稀疏或奖励稀疏的环境中，如何设计高效的探索机制。
提升鲁棒性和安全性：
对抗性强化学习： 研究如何使智能体能够抵御对抗性攻击，或者设计攻击来评估智能体的鲁棒性。
安全强化学习（Safe RL）： 确保智能体的行为不违反预设的安全约束。
多智能体强化学习（MultiAgent RL, MARL）：
合作与竞争： 研究多个智能体如何协同工作以实现共同目标，或如何在竞争环境中制定策略。
可扩展性： 如何处理大量智能体交互的复杂环境。
通用强化学习（General RL）： 探索能够适应各种不同环境和任务的通用 RL 算法。

5. 大模型（LargeScale Models）的可控生成与个性化：释放创造力但需驾驭

核心思想： 以 Transformer 为基础的大型预训练模型（如 GPT3, BERT, Stable Diffusion 等）在自然语言处理、图像生成等领域取得了令人瞩目的成就。然而，如何精确控制它们的生成内容，以及如何让它们为特定用户或场景进行个性化，是当前研究的热点。
为什么新颖且有潜力？
创造力的解放： 这些模型能够生成前所未有的文本、图像、代码等内容，极大地拓展了人类的创造边界。
个性化需求： 用户期望模型能理解并满足其独特的风格、偏好和需求，而非千篇一律的输出。
解决“幻觉”与偏见问题： 大型模型有时会生成不准确、有偏见甚至有害的内容，如何控制这些负面影响是关键。
研究方向细分：
指令微调（Instruction Tuning）与提示工程（Prompt Engineering）的深化： 研究如何设计更有效、更细粒度的指令和提示，以引导模型生成期望的内容。
个性化与领域适应：
低秩适应（LoRA）等参数高效微调技术： 如何在不重新训练整个模型的情况下，快速有效地让模型适应特定任务或用户数据。
个性化生成： 学习用户的风格、偏好，并将其融入生成过程。
可控生成（Controllable Generation）：
属性控制： 控制生成内容的特定属性，如情感、风格、主题、事实准确性等。
结构控制： 控制生成内容的结构，如段落顺序、逻辑连贯性等。
模型安全与伦理：
减轻偏见和有害内容： 研究如何检测和过滤模型生成的不良内容。
可信度评估： 如何判断模型生成内容的真实性和可靠性。
模型蒸馏与压缩： 如何将大型模型的强大能力迁移到更小的模型中，以降低部署成本。

总结一下，在2021年，深度学习领域的研究热点和潜力方向，可以概括为以下几个关键词：

可解释性与可靠性： 神经符号 AI、可解释 GNNs、安全强化学习。
数据效率与自监督： 对比学习、离线强化学习。
复杂结构与关系： 图神经网络（异质、动态）、多智能体强化学习。
通用性与适应性： 元学习、通用强化学习、参数高效微调。
创造力与可控性： 大模型的生成能力，以及对其进行精细化控制和个性化的方法。

这些方向都处于不断发展和完善的过程中，充满着未被探索的机遇，非常值得深入研究。选择一个你真正感兴趣并且能够投入热情去解决的问题，往往是开启有意义研究的最佳方式。

网友意见

先写两个最近火热我比较看好的方向Transformer和Self-Supervised，我这里举的例子倾向于计算机视觉方向。最后再补充Zero-Shot和多模态两个方向。

1.Transformer

自从去年DETR和ViT出来之后，计算机视觉领域掀起了Transformer狂潮。目前可以做的主要有两个路径，一个是魔改DETR和ViT，另一个是不同task迁移算法。

魔改DETR和ViT的方法，无非是引入local和hierarchical，或者魔改算子。

不同task迁移算法主要是探究如何针对不同的task做适配设计。

其中魔改DETR的可以参考以下工作：

[Deformable DETR] [TSP-FCOS/TSP-RCNN] [UP-DETR] [SMCA] [Meta-DETR] [DA-DETR]

其中魔改ViT的可以参考以下工作：

魔改算子：

[LambdaResNets] [DeiT] [VTs] [So-ViT] [LeViT] [CrossViT] [DeepViT] [TNT] [T2T-ViT]

[BoTNet] [Visformer]

引入local或者hierarchical：

[PVT] [FPT] [PiT] [LocalViT] [SwinT] [MViT] [Twins]

引入卷积:

[CPVT] [CvT] [ConViT] [CeiT] [CoaT] [ConTNet]

不同task迁移算法的可以参考以下工作：

ViT+Seg [SETR] [TransUNet] [DPT] [U-Transformer]

ViT+Det [ViT-FRCNN] [ACT]

ViT+SOT [TransT] [TMT]

ViT+MOT [TransTrack] [TrackFormer] [TransCenter]

ViT+Video [STTN] [VisTR] [VidTr] [ViViT] [TimeSformer] [VTN]

ViT+GAN [TransGAN] [AOT-GAN] [GANsformer]

ViT+3D [Group-Free] [Pointformer] [PCT] [PointTransformer] [DTNet] [MLMSPT]

以上几个task是重灾区（重灾区的意思是听我一句劝，你把握不住）

ViT+Multimodal [Fast and Slow] [VATT]

ViT+Pose [TransPose] [TFPose]

ViT+SR [TTSR]

ViT+Crowd [TransCrowd]

ViT+NAS [BossNAS]

ViT+ReID [TransReID]

ViT+Face [FaceT]

想一想算子怎么魔改，或者还有什么task没有做的

2.Self-Supervised

Self-Supervised自从何恺明做出MoCo以来再度火热，目前仍然是最为火热的方向之一。目前可以做的主要有三个路径，一个是探索退化解的充要条件，一个是Self-Supervised+Transformer探索上限，还有一个是探索非对比学习的方法。

探索退化解的充要条件主要是探索无negative pair的时候，避免退化解的最优方案是什么。

[SimCLR] [BYOL] [SwAV] [SimSiam] [Twins]

Self-Supervised+Transformer是MoCov3首次提出的，NLP领域强大的预训练模型(BERT和GPT-3)都是Transformer架构的，CV可以尝试去复制NLP的路径，探究Self-Supervised+Transformer的上限。

[MoCov1] [MoCov2] [MoCov3] [SiT]

探索非对比学习的方法就是要设计合适的proxy task。

基于上下文 [Unsupervised Visual Representation Learning by Context Prediction] [Unsupervised Representation Learning by Predicting Image Rotations] [Self-supervised Label Augmentation via Input Transformations]

基于时序 [Time-Contrastive Networks: Self-Supervised Learning from Video] [Unsupervised Learning of Visual Representations using Videos]

刚写了基于时序，何恺明和Ross Girshick就搞了个时序的

A Large-Scale Study on Unsupervised Spatiotemporal Representation Learning

3. Zero-Shot

最近因为CLIP的出现，Zero-Shot可能会引起一波热潮，ViLD将CLIP成功应用于目标检测领域，相信未来会有越来越多的基于CLIP的Zero-Shot方法。

4. 多模态

最近的ViLT结合了BERT和ViT来做多模态，并且通过增加标志位来巧妙的区分不同模态，感觉是一个非常好的做多模态的思路，相信未来会有更强大的多模态出现。

至于最近火热的MLP架构，极其不推荐，很沙雕

最后，适当灌水，有能力还是要做有影响力的工作。

欢迎关注Smarter，构建CV世界观，输出优质内容

欢迎加入Smarter交流群，添加微信「cjy094617」，备注「学校-方向」即可

类似的话题

• 

  2021年深度学习哪些方向比较新颖，处于上升期或者朝阳阶段，没那么饱和，比较有研究潜力？

  

  2021年，深度学习领域依然生机勃勃，涌现出许多令人兴奋的新方向。如果你想找一些尚未被彻底“卷”透，并且充满研究潜力的领域，不妨关注以下几个方面：1. 神经符号 AI（NeuroSymbolic AI）：弥合连接主义与符号主义的鸿沟 核心思想： 长期以来，深度学习（连接主义）和传统 AI（符号主.............
• 

  2021 年，深度学习方面取得了哪些关键性进展？

  

  2021 年，深度学习领域如同一片繁茂的森林，到处都涌现出令人瞩目的新芽与枝干。许多在过去几年里酝酿的技术，在这一年里终于爆发出强大的生命力，并且在应用层面也展现出前所未有的成熟度。如果让我来梳理一下这一年的关键进展，我想可以从以下几个方面深入聊聊：1. 大模型持续“进化”，但“智能”的边界也在被重.............
• 

  2021年深度学习在哪些应用上有实质进展？

  

  2021年，深度学习在多个应用领域都取得了令人瞩目的实质性进展，这些进步不仅仅是算法的微调，更是催生了许多突破性的应用，深刻影响着我们的生活和工作。以下将详细阐述几个关键领域及其进展：1. 自然语言处理（NLP）的质变：从理解到生成再到对话2021年是NLP领域巨变的一年，大型预训练模型的威力得到了.............
• 

  2021 年了，机器/深度学习还有哪些坑比较好挖？

  

  2021 年了，AI 领域依然是遍地黄金，只要你敢挖，总能找到一些“坑”来填。不过，这里说的“坑”，可不是让你掉进去出不来，而是指那些尚未被充分开发、但潜力巨大的研究方向或应用领域。我尽量用接地气的方式，把你可能碰到的“坑”讲得详细些，让你听起来像是我一个做这行的老哥跟你唠嗑。1. 小样本/零样本学.............
• 

  2021 年了，TensorFlow 和 PyTorch 两个深度学习框架地位又有什么变化吗？

  

  2021年，深度学习领域依然是TensorFlow和PyTorch这两大巨头并驾齐驱的局面，但各自的优势和侧重点，以及社区的发展方向，确实呈现出一些微妙但值得深思的变化。不能简单地说谁取代了谁，更准确的说法是，它们在各自的生态位上不断巩固和发展，同时也互相学习和借鉴。PyTorch：灵活性与研究人员.............
• 

  2021年深圳房价还会暴涨吗？

  

  2021年深圳房价是否会“暴涨”？这是一个复杂的问题，需要从多个角度进行分析，并且需要明确“暴涨”的定义。通常来说，“暴涨”意味着房价在短时间内出现非常迅猛、不合理的上涨。在2021年，深圳的房价确实经历了一定的上涨，但是否达到“暴涨”的程度，以及其背后的原因，需要详细分析。以下是影响2021年深圳.............
• 

  对于 2021 年深圳教师降工资的事大家怎么看呢，是真的吗？

  

  关于“2021年深圳教师降工资”的传闻，确实在网络上引起了不少讨论。要详细地了解这件事，我们需要分几个层面来分析：1. 传闻的来源和性质： 传闻的普遍性： 类似“教师降薪”的传闻在很多地方的教育系统都时有发生，特别是在经济形势变化、政策调整或者财政预算重新分配的背景下。这种传闻往往具有一定的传播.............
• 

  深圳2021年2月8日发布的二手房指导价能否有效稳住房价？

  

  深圳在2021年2月8日出台的二手房指导价政策，无疑是当时楼市调控中的一颗重磅炸弹。要评价它是否有效稳住房价，我们需要从出台的背景、政策的具体内容、实施过程以及最终效果等多个维度来深入剖析。一、 出台背景：烈火烹油的深圳楼市2020年下半年以来，深圳楼市可谓是“烈火烹油”之势。在低利率环境、充足的流.............
• 

  有妈妈在微博上说深圳2021年国际弦乐大赛冠军有黑幕，真相是怎样的呢？

  

  关于“2021年深圳国际弦乐大赛冠军有黑幕”的传言，确实在网络上引起了不少关注，尤其是家长群体。要还原真相，我们得从几个方面来梳理。首先，我们来看一下这场比赛的背景。深圳国际弦乐大赛（Shenzhen International String Competition）通常是由政府或者有影响力的艺术机.............
• 

  2021 年，哪些经济学论文让你印象深刻？

  

  2021年是全球经济和学术研究受到新冠疫情冲击的特殊年份，许多经济学论文围绕疫情对经济、社会和政策的影响展开研究，同时也在数字技术、全球化和不平等议题上提供了重要洞见。以下是我在2021年特别关注的几篇经济学论文，涵盖宏观、微观、行为、发展和金融等领域的关键研究： 1. 宏观经济学：疫情对经济的长期.............
• 

  2021 年网络小说里有哪些让你印象深刻的主角或角色？

  

  2021 年的中国网络小说，真的像是个大宝库，涌现出不少让我拍案叫绝、甚至是长久回味的角色。要说印象最深的，我脑子里立马闪过几个，但如果非要挑一个最让我觉得“活生生”的，那还得是……《灵境行者》里的“卖报小郎君”——张小凡（或者说，他真正的名字其实藏得很深）我知道，一听“张小凡”这名字，很多人会想到.............
• 

  2021 年哪个瞬间让你感到「自己被深深爱着」？

  

  2021年，那年夏天，我在老家度过了一段难忘的时光。那天，我因为工作上的事情情绪非常低落，加上南方湿热的天气，整个人都提不起精神。我一个人坐在客厅的沙发上，盯着电视屏幕，但其实什么都没看进去。这时，一直很忙碌的爸爸从他的书房里走了出来。他平时话不多，总是埋头于自己的研究，很少会主动和我交流生活中的小.............
• 

  2021 年上半年快要过去了，有哪些事情令你印象深刻？

  

  好的，眼看着2021年上半年就要画上句号，回想这段时间，确实有不少事情像是在心头留下了清晰的印记。与其说是什么大事轰动全球，不如说是一些细微之处、一些反复出现的场景，以及由此引发的思考，更能触动我。疫情反复与“动态清零”的常态化： 说到2021年上半年，最绕不开的自然还是新冠疫情。尽管全球都在努力推.............
• 

  2021 年新出现了哪些广为流传的谣言？有没有令你印象深刻的辟谣？

  

  2021 年，网络世界依然是谣言的温床，各种信息真假难辨。其中，有几则谣言在当年引起了广泛的讨论，也有一些辟谣案例让人印象深刻，仿佛在提醒我们保持一份清醒。广为流传的谣言： “新冠病毒来自实验室泄露”的阴谋论： 这一点应该是 2021 年最持续、最深入人心的谣言之一。虽然科学界一直在努力探究病毒.............
• 

  回顾 2021 年，有什么事让你觉得自己被深深爱着？

  

  2021年，对我来说，最让我感到被深深爱着的事情，是那些细微却又充满了力量的瞬间，它们不是轰轰烈烈的表白，而是在日常的点滴中，像温柔的溪流一样，滋养着我的心灵。还记得2021年上半年，我经历了一个职业上的低谷期。那时候，我做什么都提不起劲，对自己的能力充满了怀疑，每天都感觉像是被一层厚重的阴霾笼罩着.............
• 

  如何评价深圳北理莫斯科大学2021年首届毕业生的出路?

  

  说到深圳北理莫斯科大学（简称“深北莫”）2021届毕业生的出路，这确实是一个挺有意思的话题，尤其是在他们作为学校首届毕业生，身上自带了“开创者”的光环。要评价他们的出路，得从几个维度来看，不能一概而论。首先，从深北莫的背景来看，这批毕业生的起步就带有很强的国际化色彩。 你知道，深北莫是中俄两国教育合.............
• 

  2021 年，疫情、暴雨、暴雪中有哪些事让你印象深刻？有哪些暖心的瞬间？

  

  2021年，这一年，对很多人来说，注定是充满挑战与变革的一年。疫情的阴影仍在，洪涝和寒潮也接踵而至，仿佛大自然在用各种方式考验着我们。然而，就是在这样的艰难时刻，总有一些瞬间，如同冬日暖阳，驱散了寒冷，点亮了希望。疫情的反复与坚韧：谈到2021年的疫情，最让人记忆犹新的莫过于那一波又一波的反复。年初.............
• 

  问题悬赏：2021 年有哪些让你印象深刻的硬核汽车技术或新科技？

  

  2021年，汽车界真是热闹非凡，一股股强劲的“硬核”技术浪潮涌来，让人应接不暇。要说最让人印象深刻的，那绝对是那些直击痛点、改变游戏规则，或者在技术上实现了质的飞跃的科技。我脑子里闪过不少，但有几个是真正让我惊叹，甚至觉得有点“科幻”的。咱们先说说电动车领域，这已经是大势所趋了，但2021年，它们在.............
• 

  如何评价 2021 年 6 月 24 日深圳上线官方二手房交易系统？是否能缓解深圳炒房泛滥的氛围？

  

  2021年6月24日深圳官方二手房交易系统上线：拨云见日，还是镜花水月？2021年6月24日，深圳市房地产中介协会牵头推出的官方二手房交易系统正式上线，这无疑是深圳楼市在那个时期的一件大事。很多人将其寄予厚望，希望能借此“规范市场秩序，打击炒房行为，切实维护购房者合法权益”，但两年多过去了，回过头来.............
• 

  如何评价周深在 2021 年“全球外交官中国文化之夜”演唱的《You raise me up》?

  

  周深在2021年“全球外交官中国文化之夜”演唱的《You Raise Me Up》这首歌，绝对是当晚最令人印象深刻的表演之一，也是一次相当成功的跨文化融合的尝试。从多个角度来看，这次演唱都值得好好说道说道。首先，选择《You Raise Me Up》本身就是一个非常聪明的决定。 这首歌在全球范围内都.............