如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？ 第1页
1
网友的相关建议:
基于个人经验说个，vit的方案在疏松的数据上不行，比如sketch、colormap。
以前只是基于猜想，前段时间做了实验测试。16x16和直接的projection对于大部分自然数据的确是足够的，但是有些数据就是不够。具体可以拿16x16的格子对着数据比较。如果格子间的内容数据几乎差不多，那么就很依赖来自位置的global推理了，对数据增强和数据量都有要求。我猜flower可能就有这样的情况。而imagenet-skhtch的sketch不够稀疏，去掉shade可能就不一样了（似乎又可以搞篇文章）。
另外数据任务对global和local任务要求的情况也有关，但是这个衡量起来就比较难说清楚了。
我自己用的解决方法是，conv downsampling取代projection，然后配合数据稠密化，效果就好了。
xiaohuzc 网友的相关建议:
在大规模数据集上训练，应该vit的优势可能会显现出来，毕竟swin只是一种local attention net，理论上建模效果会比vit这种global attention net要差一些。
1
相关话题
wav2vec中的30ms是怎么得来的?计算机视觉（cv）方向今年招聘情况怎么样?是否已经人才过剩?
为什么现在的CNN模型都是在GoogleNet、VGGNet或者AlexNet上调整的？
机器学习中如何识别图片中的手是手背还是手心？
如何看待Yoav Goldberg 怒怼来自MILA的GAN for NLG的paper?
有没有根据一张人物的立绘正面像，自动生成同风格各侧面角度像并自动衍生表情的软件啊？
机器学习，深度神经网络等方法是否是正确的方向？
计算机视觉是否已经进入瓶颈期？
国内哪些公司在用caffe、torch、TensorFlow、paddle等框架，哪些在用自研框架？
如何评价ST-GCN动作识别算法？
前一个讨论
在长城汽车工作是种怎样的体验？
下一个讨论
结合深度学习的图像修复怎么实现？
相关的话题
卷积神经网络（CNN）的结构设计都有哪些思想？CVPR 2019 有哪些值得关注的亮点？
请问应该怎样去学习图像识别和深度学习？
如何评价FAIR团队最新推出的RegNet？
CVPR2022 有什么值得关注的论文 ?
研一刚入学，从未接触过神经网络，python也是才开始学，现在导师要我做LSTM，我应该去学什么？
如何开发一个自己的 TensorFlow？
NLP文本匹配问题的本质是不是 对于要预测的句子，遍历候选句子 从训练数据集里寻找最相似的pair？
如何理解空洞卷积（dilated convolution）？
人工智能领域有哪些精妙的数学原理？
计算机视觉和自然语言处理，哪个更具有发展前景呢，还是各有千秋呢？
如何看待最近一段时间旷视科技Face++、阿里、小米、京东、科大讯飞和地平线等相继在南京建立研发中心？
GAN（对抗生成网络）可以被用于哪些（商业或潜在商业）实际问题？
如何看UCBerkeley RISELab即将问世的Ray，replacement of Spark？
下一代 AI 框架长什么样？
贝叶斯深度学习是什么，和传统神经网络有何不同？
人工智能就业前景越来越严峻了，你还在坚持吗？
计算机视觉是否已经进入瓶颈期？
attention跟一维卷积的区别是啥？
如何用一句话证明自然语言处理很难？
视觉Transformer如何优雅地避开位置编码？
神经网络的万能逼近定理已经发展到什么地步了？
隐私计算、计算机视觉、自然语言处理三者中，哪个研究起来更有前途？
如何看待 Google 围棋 AI AlphaGo 击败欧洲围棋冠军？
什么是迁移学习 (Transfer Learning)？这个领域历史发展前景如何？
为什么CV能做到让一幅人脸图动了笑了，而NLP的text-style-transfer进展貌似一般？
TVM 最新发布版本 0.3 有哪些亮点？
如何理解Inductive bias？
Evidential deep learning里一般怎么估计多标签分类的Uncertainty？
何恺明目前的学术成果是否够得上计算机视觉领域历史第一人？