2021 年，深度学习方面取得了哪些关键性进展？ 第1页
1
xie-xu-dong-76 网友的相关建议:
不敢妄加评论，只是个人意见，GitHub上有人总结了2021 Amazing AI papers，我认为比较中肯，基本可以算是今年影响力比较大的论文集锦
我认为其一是Transformer攻占各个领域，尤其是Swin Transformer大杀四方；其二是各大研究机构的预训练大模型发布及其在下游任务的惊人性能，当然这也离不开self-supervised+transformer；其三就是大家都提到的MAE，当然还是离不开transformer；还有一个我认为比较重要的是基于NeRF的一系列工作也在今年开始爆发，包括CVPR best paper GIRAFFE，不过这方面工作主要还是集中在国外研究团队
1
相关话题
如何看待阿里巴巴提出的 FashionAI 比赛？如何解读「量子计算应对大数据挑战：中国科大首次实现量子机器学习算法」？
国内外有哪些做小样本学习(Few-Shot Learning)的优秀团队？
2022 年，什么行业和工作会可能会成为新的风口？
什么是狄利克雷分布？狄利克雷过程又是什么？
皮尔逊系数为什么要中心化？中心化之后有什么好处？
2021 这一年关于旅行的最美好的记忆是什么？
为什么计算注意力机制的时候不加偏置项？
神经网络中 warmup 策略为什么有效；有什么理论解释么？
为什么现在拍不出来《家有儿女》《武林外传》这样的情景喜剧？
相关的话题
如何评价何恺明等 arxiv 新作 Rethinking ImageNet Pre-training？2021 年的哪件事让你对健康有了新的感悟？
NLP文本匹配问题的本质是不是 对于要预测的句子，遍历候选句子 从训练数据集里寻找最相似的pair？
如何评价Kaiming He的Momentum Contrast for Unsupervised?
基于深度学习的自然语言处理在 2016 年有哪些值得期待的发展？
百度学术能否替代 Google 学术网站？有没有其他选择？
如何理解 natural gradient descent?
如何评价谷歌提出的 Pix2Seq：将目标检测看成语言建模，效果超过 DETR？
为什么opencv使用BRG模式读入图像？
如何理解 natural gradient descent?
2021 年你镜头下最难忘的黎明是怎样的？
为何中国人迷恋吴恩达的机器学习课？
如何评价CUHK以及Yuanjun Xiong提出的Trajectory Convolution？
从人工智能技术的角度如何评价 Google home、Amazon Echo、Rokid 这三款产品？
如何评价Google提出的MLP-Mixer：只需要MLP就可以在ImageNet上达到SOTA？
如何评价微软提出的无监督视觉模型BEiT：ImageNet达到88.6，ADE20K达到57.0？
北京深鉴科技基于FPGA平台的DPU架构如何？
如何理解 inductive learning 与 transductive learning?
如何评价Momenta ImageNet 2017夺冠架构SENet?
为什么现在有这么多人工智能无用论？
机器学习以及贝叶斯统计里，关于近似intractable integral，大家都偏爱什么算法？
如何看待 Nervana 被 Intel 收购？
有什么算法能对一个长短不一的时间序列进行分类预测?
为什么中文 NLP 数据集这么少？
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？
什么是反事实分析呀？
Transformer是如何处理可变长度数据的？
人工智能在发展到极高的程度之后能否算得上是一种生命？
有哪些优秀的深度学习入门书籍？需要先学习机器学习吗？
如何评价Momenta ImageNet 2017夺冠架构SENet?