如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？ 第1页
1
网友的相关建议:
基于个人经验说个，vit的方案在疏松的数据上不行，比如sketch、colormap。
以前只是基于猜想，前段时间做了实验测试。16x16和直接的projection对于大部分自然数据的确是足够的，但是有些数据就是不够。具体可以拿16x16的格子对着数据比较。如果格子间的内容数据几乎差不多，那么就很依赖来自位置的global推理了，对数据增强和数据量都有要求。我猜flower可能就有这样的情况。而imagenet-skhtch的sketch不够稀疏，去掉shade可能就不一样了（似乎又可以搞篇文章）。
另外数据任务对global和local任务要求的情况也有关，但是这个衡量起来就比较难说清楚了。
我自己用的解决方法是，conv downsampling取代projection，然后配合数据稠密化，效果就好了。
xiaohuzc 网友的相关建议:
在大规模数据集上训练，应该vit的优势可能会显现出来，毕竟swin只是一种local attention net，理论上建模效果会比vit这种global attention net要差一些。
1
相关话题
深度学习对图像的处理，为什么大多基于RGB，而没有其他色彩空间，比如HSV？2021 年，深度学习方面取得了哪些关键性进展？
如何激怒一位人工智能（机器学习、深度学习、强化学习等）爱好者？
如何计算CNN中batch normalization的计算复杂度（FLOPs）？
如何看待NVIDIA 即将开源的DLA？
如何看待周志华等人的新书《机器学习理论导引》？
2021 年了，机器/深度学习还有哪些坑比较好挖？
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
中国和美国谁能成人工智能领域的领军者？
怎么选取训练神经网络时的Batch size?
前一个讨论
在长城汽车工作是种怎样的体验？
下一个讨论
结合深度学习的图像修复怎么实现？
相关的话题
CVPR2022 有什么值得关注的论文 ?现在的BERT等语言模型，最快训练要多久？
当前深度学习理论基础薄弱是否意味着我们应该放弃深度学习应用(计算机视觉、自然语言处理)？
人工智能 CV 岗位是不是现在供严重大于需？
为什么有的 Vision Transformer 中的 key 不需要 bias ？
如何看待swin transformer成为ICCV2021的 best paper？
有什么深度学习数学基础书推荐？
无人车为什么一定要用激光雷达做，双目视觉难道不行吗？
如何评价 Kaiming 团队新作 Masked Autoencoders (MAE)？
老师给了一个神经网络的程序，他之前是跑通了的，但是我迭代几十次或者一百多次就报错。这个怎么解决?
如何评价贾扬清离职 Facebook？
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
如何看待最近一段时间旷视科技Face++、阿里、小米、京东、科大讯飞和地平线等相继在南京建立研发中心？
在计算机视觉任务中，运用Transformer和Non-local有何本质区别？
wav2vec中的30ms是怎么得来的?
计算机视觉（cv）方向今年招聘情况怎么样?是否已经人才过剩?
为什么 larger batch size 对对比学习的影响比对监督学习的影响要大？
如何看待旷视科技新产品监视学生上课？
UCLA 的朱松纯教授是一个什么样的人？
无人车为什么一定要用激光雷达做，双目视觉难道不行吗？
百度在深度学习上使用Xilinx FPGA?
2021 年，深度学习方面取得了哪些关键性进展？
视觉Transformer如何优雅地避开位置编码？
CVPR 2018 有什么值得关注的亮点？
在计算机视觉任务中，运用Transformer和Non-local有何本质区别？
如何看待Capsule Network在NLP领域的潜力？
2020年，多标签学习（multi-label）有了哪些新的进展？
OpenCV已经将图像处理(识别)的算法写成函数了,那我们还有必要去学习这些算法不?
三维重建 3D reconstruction 有哪些实用算法？
如何看待End-to-End Object Detection with Transformers？