2021年人工智能领域有哪些关键性进展和突破？ 第1页

谢邀。刚好我前几天写过。以下内容节选自我前几天写的一篇的文章，稍有删改，更详细内容可点击原文：

年度10大AI成果（按时间排序）

1. Switch Transformers

发表时间：2021年1月11日

论文地址：Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity

亮点：

• 以将语言模型的参数量扩展至 1.6 万亿。
• 由于采用了混合专家（Mix of Expert，MoE）对于不同的输入，会选择不同的参数。多个专家（或者专门从事不同任务的模型）被保留在一个更大的模型中，针对任何给定的数据，由一个“门控网络”来选择咨询哪些专家。结果即使参数爆炸，但计算成本不变。

知乎相关讨论：

2. SEER(SElf-supERvised)

发表时间：2021年3月2号

论文地址：Self-supervised Pretraining of Visual Features in the Wild

亮点：

• 自监督，10亿个参数，在几乎没有标签帮助的情况下识别图像中的物体

博客：

https://ai.facebook.com/blog/seer-the-start-of-a-more-powerful-flexible-and-accessible-era-for-computer-vision/)

3. Swin Transformer

发表时间：2021年3月25号

论文地址：Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

亮点：

• ICCV2021的 best paper
• 证明transformer模型在CV任务上表现能超过CNN
• 促进CV和NLP架构的融合

文章的几位作者现身知乎作答：

如何看待swin transformer成为ICCV2021的 best paper？

4. SSViT

发表时间：2021年4月29号

论文地址：Emerging Properties in Self-Supervised Vision Transformers

亮点：

• 和SEER类似，也是无标签自监督的，不一样的是，此文章关注的是自监督用在vision transformer上。
• 文章有证据表明自监督学习可能是开发基于 ViT 的类 BERT 模型的关键。

5. MLP-Mixer

发布时间：2021年5月4号

论文地址：MLP-Mixer: An all-MLP Architecture for Vision

亮点：

• 虽然没有SOTA，但性能不错
• 卷积、循环，注意力什么的，都没用上。

不过Yann LeCun说，这种技巧只是「烹饪艺术」

知乎相关讨论：

6. GitHub Copilot

发布时间： 2021年6月19号

项目地址：GitHub Copilot.

在把Github Copilot选进来是，我是有点犹豫的，因为Github Copilot确实有很多争议，例如违反开源协议，代码抄袭等等。但从技术角度来看，这确实是一个不错的玩法，而且自动补全的代码很强，甚至还能刷LeetCode，我也用过一段时间，确实能帮助我提高写代码效率。当然，不要依赖它，毕竟它写的代码不能保证是没bug的。

相关视频讲解：

7. AlphaFold2开源

开源时间：2021年7月21日

项目地址：GitHub - deepmind/alphafold: Open source code for AlphaFold.

AlphaFold2虽然是去年的论文，但今年才公布源码。

亮点：

• 启发了其他团队在蛋白质预测方面的工作，例如启发了华盛顿大学蛋白质设计研究所主任大卫・贝克（David Baker）的团队研发出 RoseTTAFold 算法，这是一种计算成本更低的算法。RoseTTAFold和AlphaFold2是同一天开源的。
• 开源会极大促进新药研发，从而提高人类抗击疾病的能力。

知乎相关讨论：

8. 源1.0发布

发布时间：2021年10月10号

论文地址：Yuan 1.0: Large-Scale Pre-trained Language Model in Zero-Shot and Few-Shot Learning

亮点：

• 当了一天的的全球最大的NLP巨量模型（刚好下一天，MT-NLG发布了，笑死）
• 在零次学习和小样本学习里取得不错的效果，甚至在ZeroCLUE零样本学习榜和FewCLUE均拿下了除了人类之外的第一的成绩。(FewClue后被其他模型超过，太卷了）

知乎相关讨论：

9. MT-NLG

发布时间：2021年10月11号

文章地址（论文还没出来）：Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, the World’s Largest and Most Powerful Generative Language Model - Microsoft Research

亮点：

• 参数高达5300亿，是最大的单体模型。
• 根据英伟达的博客介绍，MT-NLG在完成预测（Completion prediction)、阅读理解（Reading comprehension)、常识推理（Commonsense reasoning）、自然语言推论（Natural language inferences）、词义消歧（Word sense disambiguation）这几个方面都取得了「无与伦比」(unmatched)的成就。

知乎相关讨论：

10. NÜWA:（女娲）

发布时间：2021年11月24日

论文地址：NÜWA: Visual Synthesis Pre-training for Neural visUal World creAtion

亮点：

• NÜWA模型支持的8种典型视觉生成任务，分别是文字生成图像，文字生成视频，草图生成图像，草图生成视频，图像补全，视频预测，图像操控，视频操控

• 彩色的论文标题也是够皮的（咋滴，标题也卷起来了？）

知乎相关讨论：

总结

当然，仅仅列举十个AI成果还是不够的，我想尝试从这十个成果里总结几点今年人工智能发展的趋势：

1. 堆叠模型参数依然有用，超大模型逐渐成为信息新基建的一部分，开始向开发者开放。（顺便一说，前面没说的是，但GPT-3上个月就向所有人开放了，其他超大模型也在慢慢开放中)
2. CV和NLP继续融合(例如Swin Transformer，女娲）。
3. 自监督的应用将更广泛。

除了上面列举的十个成果之外，今年还有很多其他不错的成果，例如2600亿参数的ERNIE 3.0 Titan，何恺明大神的Masked Autoencoders，等成果都不错，但怕超过10个大家看起来有压力，所以不展开写了了，感兴趣的可以搜搜看。

看完这10大AI成果，你是觉得今年的AI成果没去年那么令人激动人心，还是觉得今年的AI成果更有意思的呢？无论你怎么看，都欢迎告诉我你的想法。

作者： @桔了个仔

人工智能从业者，专注AI风控技术，写作爱好者，天天和猫咪一起写代码，写知乎。面向人生编程，欢迎关注，一起进步，一起吸猫。更多精彩内容见下面的索引。