2021 年，深度学习方面取得了哪些关键性进展？ 第1页
1
xie-xu-dong-76 网友的相关建议:
不敢妄加评论，只是个人意见，GitHub上有人总结了2021 Amazing AI papers，我认为比较中肯，基本可以算是今年影响力比较大的论文集锦
我认为其一是Transformer攻占各个领域，尤其是Swin Transformer大杀四方；其二是各大研究机构的预训练大模型发布及其在下游任务的惊人性能，当然这也离不开self-supervised+transformer；其三就是大家都提到的MAE，当然还是离不开transformer；还有一个我认为比较重要的是基于NeRF的一系列工作也在今年开始爆发，包括CVPR best paper GIRAFFE，不过这方面工作主要还是集中在国外研究团队
1
相关话题
什么是大模型？超大模型？Foundation Model？神经网络为什么可以（理论上）拟合任何函数？
如何看待2016年3月柯洁表示 AlphaGo「赢不了我」？
TVM 最新发布版本 0.3 有哪些亮点？
学习人工智能，术语看不懂怎么办？
如何评价 DeepMind 发表在 Nature 的论文公开无需人类棋谱的 AlphaGo Zero？
消融实验是什么？
如何评价华为天才少年钟钊团队成功开启了 AutoML 大规模商用的先河？什么是 AutoML？
为什么 BERT 的 intermediate_size 这么大？
在Auto ML的冲击下，ML算法人员是否会在前者成熟后失业的情况？
相关的话题
2021 年有哪些火起来的网络用语？火起来的背后反映了什么社会现象？如何用一句话证明自然语言处理很难？
为什么说深度学习没有理论基础?
机器学习如何才能避免「只是调参数」？
深度学习图像处理什么时候用到GPU？
2021 年，深度学习方面取得了哪些关键性进展？
在哪里能找到各行业的分析研究报告？
计算机视觉（cv）方向今年招聘情况怎么样?是否已经人才过剩?
R 中的哪些命令或者包让你相见恨晚？
二分类问题，应该选择sigmoid还是softmax？
如何评价基于游戏毁灭战士（Doom）的AI死亡竞赛大赛结果？
如何评价谷歌大脑的EfficientNet？
如何评价FAIR提出的MaskFeat：一种适用图像和视频分类的自监督学习方法？
怎么形象理解embedding这个概念？
2021 年，疫情、暴雨、暴雪中有哪些事让你印象深刻？有哪些暖心的瞬间？
AI在网络安全领域（尤其是威胁检测领域），有什么好的应用场景？
如何评价Sony新出的深度学习库NNabla？
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
怎么在家学习一些关于机器学习的知识?
自然语言处理方向研究生好找工作吗？
2021 年你在健身上花了多少钱？去过多少次健身房？
能分享你收藏的国外AI talk, seminar平台或网站吗？
如何看待鄂维南院士等发起的机器学习联合研讨计划（c2sml.cn）？
计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些？
transformer 为什么使用 layer normalization，而不是其他的归一化方法？
GAN:固定训练好的判别器网络，去指导训练生成器为什么不可以？
神经网络的万能逼近定理已经发展到什么地步了？
transformer中的Q,K,V到底是什么？
2021 年了，机器/深度学习还有哪些坑比较好挖？
如何评价 CVPR2022 的审稿结果和录取情况？