如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？ 第1页
1
网友的相关建议:
基于个人经验说个，vit的方案在疏松的数据上不行，比如sketch、colormap。
以前只是基于猜想，前段时间做了实验测试。16x16和直接的projection对于大部分自然数据的确是足够的，但是有些数据就是不够。具体可以拿16x16的格子对着数据比较。如果格子间的内容数据几乎差不多，那么就很依赖来自位置的global推理了，对数据增强和数据量都有要求。我猜flower可能就有这样的情况。而imagenet-skhtch的sketch不够稀疏，去掉shade可能就不一样了（似乎又可以搞篇文章）。
另外数据任务对global和local任务要求的情况也有关，但是这个衡量起来就比较难说清楚了。
我自己用的解决方法是，conv downsampling取代projection，然后配合数据稠密化，效果就好了。
xiaohuzc 网友的相关建议:
在大规模数据集上训练，应该vit的优势可能会显现出来，毕竟swin只是一种local attention net，理论上建模效果会比vit这种global attention net要差一些。
1
相关话题
2019 秋招的 AI 岗位竞争激烈吗？如何评价Facebook AI提出的ResMLP，对比Google的MLP-Mixer?
三维重建 3D reconstruction 有哪些实用算法？
Transformer中的Mask矩阵已经有顺序了，能去掉position embedding吗?
如何看待KDD'21的文章，异质图神经网络的效果不如简单的GCN、GAT？
深度学习attention机制中的Q,K,V分别是从哪来的？
为什么说大模型训练很难？
你所在的研究领域里，有哪些工作的结果虽然不是造假，但是是精挑细选出来的?
对于神经网络，硕士博士不需要弄明白原理，只需要应用，是这样吗？
2021年深度学习哪些方向比较新颖，处于上升期或者朝阳阶段，没那么饱和，比较有研究潜力？
前一个讨论
在长城汽车工作是种怎样的体验？
下一个讨论
结合深度学习的图像修复怎么实现？
相关的话题
transformer 为什么使用 layer normalization，而不是其他的归一化方法？深度学习和强化学习之间的差别有多大？
如何评价deepmind最新在nature上发表的论文《在人工网络中用网格样表征进行基于向量的导航》？
2020-2021年NLP有什么核心技术的更迭吗？或者有什么推动领域发展的paper吗？
ICLR 2018 有什么值得关注的亮点？
2019 秋招的 AI 岗位竞争激烈吗？
是不是并不是所有问题都适合用神经网络预测？
2019年CVPR有哪些糟糕的论文?
CVPR2022 有什么值得关注的论文 ?
有人说「真正的人工智能至少还要几百年才能实现」，真的是这样吗？
如何看待 Nervana 被 Intel 收购？
编程达到什么水平才能编写出像caffe这样的深度学习框架？
为什么计算注意力机制的时候不加偏置项？
2021年人工智能领域有哪些关键性进展和突破？
2021 年了，机器/深度学习还有哪些坑比较好挖？
有哪些人工智能上的事实，没有一定人工智能知识的人不会相信？
CTC和Encoder-Decoder有什么关系?
深度学习对图像的处理，为什么大多基于RGB，而没有其他色彩空间，比如HSV？
如何评价余凯在朋友圈发表呼吁大家用 caffe、mxnet 等框架，避免使用 TensorFlow？
想问下专业人士 OpenCv会被深度学习进一步取代吗进一步取代吗？
2020-2021年NLP有什么核心技术的更迭吗？或者有什么推动领域发展的paper吗？
为什么很少人用FFT加速CNN卷积层的运算？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
在实际工程系统中，MPC太复杂，难以做到realtime。因此都利用数据，MPC对比RL还有优势么?
为啥gan里面几乎不用pooling？
多任务学习中loss多次backward和loss加和后backward有区别吗？
为什么要压缩模型，而不是直接训练一个小的CNN？
CV方向多模态融合有哪些好的paper？
如何看待马毅教授在国内评不上杰青？
多模态训练，怎么解决不同模态之间差异的问题？