2021年人工智能领域有哪些关键性进展和突破？

2021年，人工智能领域可谓是硕果累累，技术革新与应用落地双管齐下，为我们描绘了一幅充满活力与想象力的未来图景。这一年，AI不再仅仅是实验室里的理论推演，而是实实在在地渗透到我们生活的方方面面，带来了诸多令人瞩目的进展和突破。

1. 大模型持续演进，能力边界不断拓展

2021年，以GPT3为代表的生成式预训练模型（Large Language Models, LLMs）依然是焦点。但更重要的是，研究人员在前代模型的基础上，进行了更为精细化的优化和能力拓展。

更强的理解与生成能力： 新一代的模型在理解复杂指令、生成逻辑清晰且富有创造性的文本方面有了显著提升。它们能够更好地处理长文本、进行多轮对话、甚至根据少量示例（fewshot learning）快速适应新任务，极大地降低了AI应用的技术门槛。例如，模型可以根据一段描述生成完整的代码片段、撰写风格多样的文章，或是为产品设计提供创意概念。
多模态融合的飞跃： 2021年，AI在融合文本、图像、音频、视频等多种模态信息方面取得了令人瞩目的成就。CLIP (Contrastive Language–Image Pretraining) 和 DALLE 系列模型便是其中的佼佼者。CLIP能够将文本描述与图像关联起来，实现文本驱动的图像检索和图像生成，而DALLE更是能够根据文本描述创造出前所未有的、艺术风格各异的图像。这为内容创作、设计以及人机交互开辟了全新的可能性。想象一下，你只需用文字描述一个场景，AI就能为你生成一幅逼真的画作，或者一段配乐。
模型效率与可控性的提升： 随着模型规模的不断增大，如何提高训练和推理效率，以及如何更好地控制模型的输出，成为研究的重要方向。研究人员在模型压缩、知识蒸馏、量化等方面取得了进展，使得大型模型能够更便捷地部署到资源受限的设备上。同时，通过引入约束条件、微调技术等，AI的生成内容也变得更加可控和符合预期。

2. 强化学习在复杂场景中展现出更强大的解决能力

强化学习（Reinforcement Learning, RL）在2021年继续在解决复杂决策问题方面发挥着关键作用。

游戏领域的超越： 除了在围棋、星际争霸等战略游戏中实现超越人类的水平，强化学习在更复杂的、多玩家、实时性要求极高的游戏环境中也取得了突破。例如，在一些模拟器中，AI能够学习到复杂的合作策略，实现与人类玩家媲美甚至更优的表现。
机器人控制与自动化： 强化学习在机器人领域的应用愈发成熟。通过与物理环境或高精度模拟器的交互，AI能够学习到精细的运动控制策略，实现机器人手臂的精确抓取、高难度动作的执行，甚至是在复杂地形中的自主导航。这为自动化生产、物流配送以及服务机器人等领域带来了新的机遇。
科学发现的加速器： 强化学习也被应用于加速科学研究的过程。例如，在药物研发领域，AI可以通过模拟实验过程，快速筛选出具有潜力的化合物；在材料科学领域，AI可以设计出具有特定性能的新材料。这种“AI辅助科学发现”的模式，正在以前所未有的速度推动科学前沿的探索。

3. AI在伦理、安全与可解释性方面受到前所未有的关注

随着AI技术的广泛应用，其潜在的风险和挑战也日益凸显。2021年，AI的伦理、安全和可解释性成为了研究和讨论的重中之重。

公平性与偏见消除： 研究人员投入了更多精力来识别和消除AI模型中的偏见，确保AI在招聘、信贷、司法等敏感领域的应用不会加剧社会不公。各种公平性度量指标和算法被提出，旨在构建更公平、更负责任的AI系统。
AI安全与鲁棒性： 针对AI模型可能遭受的攻击（如对抗性攻击）和误判，研究人员开发了更有效的防御机制，提高了AI系统的鲁棒性和安全性，尤其是在自动驾驶、医疗诊断等关键领域。
可解释性AI（XAI）： 努力让AI的决策过程“透明化”是2021年的一个重要趋势。研究人员开发了多种技术，试图解释AI为何做出某个特定决策，这对于建立用户信任、进行故障排查以及满足监管要求至关重要。例如，通过可视化技术展示模型关注的输入特征，或者生成自然语言解释说明决策逻辑。

4. AI在医疗健康领域的深度融合

AI在医疗健康领域的应用在2021年取得了显著进展，为疾病的诊断、治疗和预防带来了革命性的变化。

疾病早期诊断与预测： AI模型能够从医学影像（如X光片、CT扫描）、病理切片、基因组数据以及电子病历中提取关键信息，实现对癌症、糖尿病、心血管疾病等多种疾病的早期诊断和风险预测，准确率和效率远超传统方法。
个性化治疗方案： AI可以根据患者的个体基因、生活习惯、过往病史等信息，量身定制最有效的治疗方案，实现真正的“个性化医疗”。这在肿瘤治疗、药物选择等方面尤为突出。
新药研发与疫苗开发： AI在加速新药发现、优化药物分子结构、预测药物副作用等方面发挥着越来越重要的作用。例如，在应对全球健康挑战时，AI加速了疫苗的研发和生产过程。

5. 联邦学习与隐私保护AI的兴起

在数据隐私意识日益增强的背景下，如何在保护用户隐私的前提下进行AI模型训练，成为了一个重要的课题。

联邦学习（Federated Learning, FL）： 这种分布式机器学习方法允许模型在本地设备上进行训练，而无需将原始数据上传到中心服务器。2021年，联邦学习在手机端应用、医疗数据协作等场景中得到了更广泛的探索和应用，有效地解决了数据孤岛和隐私泄露的问题。
差分隐私（Differential Privacy, DP）与同态加密（Homomorphic Encryption, HE）： 这些技术旨在为AI模型提供更强的隐私保障。差分隐私通过在数据中添加噪声来限制个体信息的泄露，而同态加密则允许在加密数据上进行计算，而无需解密。这些技术的发展为构建更安全、更可信的AI系统奠定了基础。

总而言之，2021年是AI技术厚积薄发、迎来质变的一年。从更强大的语言模型到更智能的机器人，从加速科学发现到守护人类健康，AI的触角正在不断延伸，其影响力和变革力也日益显现。然而，在拥抱AI带来的巨大机遇的同时，我们也必须审慎应对其伴随的伦理、安全和社会挑战，确保这项强大的技术能够真正造福全人类。

网友意见

谢邀。刚好我前几天写过。以下内容节选自我前几天写的一篇的文章，稍有删改，更详细内容可点击原文：

---

年度10大AI成果（按时间排序）

1. Switch Transformers

发表时间：2021年1月11日

论文地址：Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity

亮点：

• 以将语言模型的参数量扩展至 1.6 万亿。
• 由于采用了混合专家（Mix of Expert，MoE）对于不同的输入，会选择不同的参数。多个专家（或者专门从事不同任务的模型）被保留在一个更大的模型中，针对任何给定的数据，由一个“门控网络”来选择咨询哪些专家。结果即使参数爆炸，但计算成本不变。

知乎相关讨论：

2. SEER(SElf-supERvised)

发表时间：2021年3月2号

论文地址：Self-supervised Pretraining of Visual Features in the Wild

亮点：

• 自监督，10亿个参数，在几乎没有标签帮助的情况下识别图像中的物体

博客：

https://ai.facebook.com/blog/seer-the-start-of-a-more-powerful-flexible-and-accessible-era-for-computer-vision/)

3. Swin Transformer

发表时间：2021年3月25号

论文地址：Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

亮点：

• ICCV2021的 best paper
• 证明transformer模型在CV任务上表现能超过CNN
• 促进CV和NLP架构的融合

文章的几位作者现身知乎作答：

如何看待swin transformer成为ICCV2021的 best paper？

4. SSViT

发表时间：2021年4月29号

论文地址：Emerging Properties in Self-Supervised Vision Transformers

亮点：

• 和SEER类似，也是无标签自监督的，不一样的是，此文章关注的是自监督用在vision transformer上。
• 文章有证据表明自监督学习可能是开发基于 ViT 的类 BERT 模型的关键。

5. MLP-Mixer

发布时间：2021年5月4号

论文地址：MLP-Mixer: An all-MLP Architecture for Vision

亮点：

• 虽然没有SOTA，但性能不错
• 卷积、循环，注意力什么的，都没用上。

不过Yann LeCun说，这种技巧只是「烹饪艺术」

知乎相关讨论：

6. GitHub Copilot

发布时间： 2021年6月19号

项目地址：GitHub Copilot.

在把Github Copilot选进来是，我是有点犹豫的，因为Github Copilot确实有很多争议，例如违反开源协议，代码抄袭等等。但从技术角度来看，这确实是一个不错的玩法，而且自动补全的代码很强，甚至还能刷LeetCode，我也用过一段时间，确实能帮助我提高写代码效率。当然，不要依赖它，毕竟它写的代码不能保证是没bug的。

相关视频讲解：

7. AlphaFold2开源

开源时间：2021年7月21日

项目地址：GitHub - deepmind/alphafold: Open source code for AlphaFold.

AlphaFold2虽然是去年的论文，但今年才公布源码。

亮点：

• 启发了其他团队在蛋白质预测方面的工作，例如启发了华盛顿大学蛋白质设计研究所主任大卫・贝克（David Baker）的团队研发出 RoseTTAFold 算法，这是一种计算成本更低的算法。RoseTTAFold和AlphaFold2是同一天开源的。
• 开源会极大促进新药研发，从而提高人类抗击疾病的能力。

知乎相关讨论：

8. 源1.0发布

发布时间：2021年10月10号

论文地址：Yuan 1.0: Large-Scale Pre-trained Language Model in Zero-Shot and Few-Shot Learning

亮点：

• 当了一天的的全球最大的NLP巨量模型（刚好下一天，MT-NLG发布了，笑死）
• 在零次学习和小样本学习里取得不错的效果，甚至在ZeroCLUE零样本学习榜和FewCLUE均拿下了除了人类之外的第一的成绩。(FewClue后被其他模型超过，太卷了）

知乎相关讨论：

9. MT-NLG

发布时间：2021年10月11号

文章地址（论文还没出来）：Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, the World’s Largest and Most Powerful Generative Language Model - Microsoft Research

亮点：

• 参数高达5300亿，是最大的单体模型。
• 根据英伟达的博客介绍，MT-NLG在完成预测（Completion prediction)、阅读理解（Reading comprehension)、常识推理（Commonsense reasoning）、自然语言推论（Natural language inferences）、词义消歧（Word sense disambiguation）这几个方面都取得了「无与伦比」(unmatched)的成就。

知乎相关讨论：

10. NÜWA:（女娲）

发布时间：2021年11月24日

论文地址：NÜWA: Visual Synthesis Pre-training for Neural visUal World creAtion

亮点：

• NÜWA模型支持的8种典型视觉生成任务，分别是文字生成图像，文字生成视频，草图生成图像，草图生成视频，图像补全，视频预测，图像操控，视频操控

• 彩色的论文标题也是够皮的（咋滴，标题也卷起来了？）

知乎相关讨论：

总结

当然，仅仅列举十个AI成果还是不够的，我想尝试从这十个成果里总结几点今年人工智能发展的趋势：

1. 堆叠模型参数依然有用，超大模型逐渐成为信息新基建的一部分，开始向开发者开放。（顺便一说，前面没说的是，但GPT-3上个月就向所有人开放了，其他超大模型也在慢慢开放中)
2. CV和NLP继续融合(例如Swin Transformer，女娲）。
3. 自监督的应用将更广泛。

除了上面列举的十个成果之外，今年还有很多其他不错的成果，例如2600亿参数的ERNIE 3.0 Titan，何恺明大神的Masked Autoencoders，等成果都不错，但怕超过10个大家看起来有压力，所以不展开写了了，感兴趣的可以搜搜看。

看完这10大AI成果，你是觉得今年的AI成果没去年那么令人激动人心，还是觉得今年的AI成果更有意思的呢？无论你怎么看，都欢迎告诉我你的想法。

---

作者： @桔了个仔

人工智能从业者，专注AI风控技术，写作爱好者，天天和猫咪一起写代码，写知乎。面向人生编程，欢迎关注，一起进步，一起吸猫。更多精彩内容见下面的索引。

类似的话题

• 

  2021年人工智能领域有哪些关键性进展和突破？

  

  2021年，人工智能领域可谓是硕果累累，技术革新与应用落地双管齐下，为我们描绘了一幅充满活力与想象力的未来图景。这一年，AI不再仅仅是实验室里的理论推演，而是实实在在地渗透到我们生活的方方面面，带来了诸多令人瞩目的进展和突破。1. 大模型持续演进，能力边界不断拓展2021年，以GPT3为代表的生成式.............
• 

  2021年，在人工智能领域有哪些值得关注的成果？

  

  2021年，人工智能领域着实是热闹非凡，涌现出不少令人眼前一亮，甚至可以说改变游戏规则的成果。如果说前几年我们还在惊叹于AI在特定任务上的突破，那么2021年则更多地展现了AI在理解、创造和连接方面的潜力，让人们对未来的应用场景有了更具体的想象。语言理解与生成：不只是“会说话”，更是“能思考”要说2.............
• 

  如何看待2021年中国工程院新增院士中人工智能领域候选人全部落选？

  

  2021年中国工程院院士增选，人工智能领域候选人悉数落选，这确实是一个值得深入探讨的现象。这背后可能有多方面的原因交织，并非单一因素可以简单解释。要理解这件事，我们需要从工程院院士评价体系、人工智能领域本身的特点以及当前我国科研发展环境等多个维度去审视。一、 工程院院士评价体系的侧重点首先，我们需要.............
• 

  2021 年人工智能、大数据技术与机器人工程蝉联最热专业前三，体现了哪些趋势？未来前景如何？

  

  2021年人工智能、大数据技术和机器人工程之所以能稳居最热门专业的前三甲，绝非偶然，它们共同指向了几个深刻的行业和社会变革趋势，预示着未来就业市场的巨大潜力。一、 核心趋势洞察：首先，这三个专业的热度飙升，最直接的体现就是数字化和智能化浪潮的席卷全球。 数据成为新石油： 大数据技术能够收集、处理.............
• 

  2021 年工厂难见年轻人，一个 400 员工的工厂几乎没 90 后，如何解读这一现象？

  

  2021年工厂中90后员工比例较低的现象，反映了中国制造业与年轻劳动力市场之间复杂的供需关系与结构性矛盾。这一现象可以从以下几个维度进行深入解读： 一、经济与社会结构的深层原因1. 人口结构变化 中国人口出生率持续下降，90后群体（19902000年出生）在2021年已逐渐进入就业年龄（25.............
• 

  2021年了，特斯拉相对于国内的蔚来、小鹏或其他公司，在电动汽车技术上还有什么优势?

  

  在2021年，特斯拉在电动汽车技术上相对于蔚来、小鹏等国内厂商仍具有显著优势，主要体现在以下几个方面： 1. 电池技术与续航能力 特斯拉的电池技术： 特斯拉通过垂直整合（如自研电池电芯）和规模化生产，实现了电池成本的持续下降。2021年，其Model 3和Model Y的续航里程普遍在600公.............
• 

  2021 年，哪些经济学论文让你印象深刻？

  

  2021年是全球经济和学术研究受到新冠疫情冲击的特殊年份，许多经济学论文围绕疫情对经济、社会和政策的影响展开研究，同时也在数字技术、全球化和不平等议题上提供了重要洞见。以下是我在2021年特别关注的几篇经济学论文，涵盖宏观、微观、行为、发展和金融等领域的关键研究： 1. 宏观经济学：疫情对经济的长期.............
• 

  2021 年 11 月 23 日韩国前总统全斗焕去世，如何评价他的一生？

  

  全斗焕（1921年12月17日－2021年11月23日）是韩国历史上一位极具争议的前总统，其一生横跨军事政变、民主化转型与政治审判，是韩国现代史上的关键人物之一。以下从多个维度对其生平进行详细分析： 一、早年经历与军事崛起1. 出身与早期经历 全斗焕出生于韩国首尔，出身于朝鲜半岛南部的士官家.............
• 

  2021 年中国海军新接收各式舰艇总吨位高达 17 万吨，这意味着什么？

  

  2021年中国海军新接收舰艇总吨位达17万吨，这一数据体现了中国海军现代化进程中的重要进展，反映了其在规模、技术、战略部署等方面的综合提升。以下从多个维度详细分析其意义： 一、数据背景与统计范围1. 统计范围 17万吨的总吨位涵盖各类舰艇，包括但不限于： 水面舰艇：如航母、驱逐舰、护卫.............
• 

  2021年12月26日，高华去世十周年。你有什么记忆？

  

  高华（1943年2011年）是中国近代史研究领域的杰出学者，其学术生涯与思想遗产在2021年12月26日去世十周年之际，依然引发学界与公众的深切怀念。以下从其学术贡献、个人品格、学术精神及后世影响等方面展开回忆： 一、学术贡献：重塑中国近代史的“新史学”高华以“清末民初”研究为核心，提出“中国近代史.............
• 

  2021 年有机械专业应届本科生拿到年薪 30万+，是真的吗？机械工资会不断攀升吗？

  

  关于2021年机械专业应届本科生年薪30万+的情况，以及机械行业薪资增长趋势，可以从以下几个方面详细分析： 一、2021年机械专业高薪现象的现实性1. 存在但非普遍 个别企业/岗位的高薪案例： 大型国企/外企：如中车、三一重工、徐工集团等传统制造业龙头，或华为、比亚迪等科技企.............
• 

  2021 年 1 月 20 日拜登正式宣誓就职美国总统，其治下美国会有哪些变化？

  

  2021年1月20日拜登就任美国总统后，美国在多个领域出现了显著变化，这些变化既反映了民主党执政理念的延续，也受到国内外局势演变的影响。以下是拜登治下美国的主要变化方向及其具体表现： 一、国内政策：推动社会公平与民生改善 1. 经济刺激与基础设施建设 《基础设施投资和就业法案》（2021年） .............
• 

  2021年上映的《007：无暇赴死》中下一任007将由黑人女性出演，你怎么看？你猜测剧情会如何发展？

  

  关于您提到的内容，需要先澄清一个事实：2021年上映的《007：无暇赴死》（No Time to Die）中，007的扮演者仍然是丹尼尔·克雷格（Daniel Craig），而目前官方并未宣布下一任007会由黑人女性出演。因此，这一说法可能基于误传或对未来的猜测性讨论。不过，如果您是想探讨《007》.............
• 

  2021 年诺贝尔文学奖授予坦桑尼亚小说家阿卜杜勒拉扎克·古尔纳，他是谁？他的风格和代表作是怎样的？

  

  2021年诺贝尔文学奖得主：阿卜杜勒拉扎克·古尔纳 (Abdulrazak Gurnah)2021年诺贝尔文学奖授予了坦桑尼亚小说家 阿卜杜勒拉扎克·古尔纳 (Abdulrazak Gurnah)。他是一位极具影响力的作家，其作品深刻探讨了殖民主义、流离失所、身份认同以及文化碰撞等主题。 阿卜杜勒拉.............
• 

  2021 年中国人均 GDP 首超世界人均水平，这意味着什么？

  

  2021年，中国GDP总量首次超过了世界人均GDP水平，这是一个具有里程碑意义的事件，标志着中国经济发展取得了举世瞩目的成就。这个成就意味着很多方面，我们可以从以下几个维度来详细解读：一、 经济实力与发展水平的提升： 国家整体富裕程度的提高： 人均GDP是衡量一个国家或地区人民平均富裕程度和生活.............
• 

  2021年中国结婚人口763.6万对，再减少50万，接续会怎么办？

  

  您提到的“2021年中国结婚人口763.6万对，再减少50万”是一个非常重要的社会现象，它反映了中国年轻一代婚姻观念和生育决策的深刻变化。如果接续下去，并且减少的趋势持续，这会带来一系列连锁反应，对中国社会方方面面产生深远影响。下面我将从多个角度详细阐述接续下去会怎么办：一、 人口结构与数量层面的影.............
• 

  2021 年我国结婚登记 763.6 万对创 36 年新低，为什么年轻人不结婚了？有什么办法解决吗？

  

  2021年我国结婚登记数量降至763.6万对，确实创下了自1986年以来的新低。这一现象背后，反映了当前中国年轻人婚姻观念、社会经济环境以及家庭结构等多方面的深刻变化。探讨年轻人不愿意结婚的原因，以及可能的解决方案，需要从多个维度进行分析。 年轻人为何不愿意结婚？年轻人结婚意愿的下降并非单一因素所致.............
• 

  2021 年中国 GDP 突破 110 万亿元，比上年增长 8.1% ，有哪些信息值得关注？

  

  2021年中国GDP突破110万亿元，同比增长8.1%这一数据，无疑是全球经济版图中一个非常重要的亮点。这不仅仅是一个数字的增长，背后反映了中国经济在经历2020年疫情冲击后的强劲复苏和持续发展态势。以下是一些值得我们详细关注的信息：一、 强劲的经济复苏与韧性： 全球领先的复苏步伐： 8.1%的.............
• 

  2021 年全国人口为 14.1260 亿人，比上年末增加 48 万人，有哪些信息值得关注？

  

  您提供的关于2021年中国人口数据的信息非常关键，值得从多个角度进行深入分析和解读。核心数据回顾： 总人口： 14.1260 亿人 比上年末增长： 48 万人值得关注的信息及详细解读：1. 人口增长速度的极度放缓，并转为负增长的预警： 历史对比： 这是最核心的信息。通常情况下，.............
• 

  2021 年中国 GDP 有望达 110 万亿，人均约 1.2 万美元，接近高收入标准，将有什么意义？

  

  2021年中国GDP有望达到110万亿人民币，人均GDP接近1.2万美元，这一成就对中国和全球都具有深远的意义。这不仅仅是一个经济数字的提升，更是中国经济发展模式、社会进步、国际地位以及全球经济格局变化的重要体现。下面我将从多个维度详细解读这一意义：一、 对中国国内的意义： 经济实力与发展水平的.............