如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？ 第1页
1
网友的相关建议:
基于个人经验说个，vit的方案在疏松的数据上不行，比如sketch、colormap。
以前只是基于猜想，前段时间做了实验测试。16x16和直接的projection对于大部分自然数据的确是足够的，但是有些数据就是不够。具体可以拿16x16的格子对着数据比较。如果格子间的内容数据几乎差不多，那么就很依赖来自位置的global推理了，对数据增强和数据量都有要求。我猜flower可能就有这样的情况。而imagenet-skhtch的sketch不够稀疏，去掉shade可能就不一样了（似乎又可以搞篇文章）。
另外数据任务对global和local任务要求的情况也有关，但是这个衡量起来就比较难说清楚了。
我自己用的解决方法是，conv downsampling取代projection，然后配合数据稠密化，效果就好了。
xiaohuzc 网友的相关建议:
在大规模数据集上训练，应该vit的优势可能会显现出来，毕竟swin只是一种local attention net，理论上建模效果会比vit这种global attention net要差一些。
1
相关话题
在推荐系统中，如何较好的采用深度学习方法获取用户长短期兴趣？什么是人工智能？人工智能、机器学习、深度学习三者之间有什么关系吗？
如何看待 TI7 上与 Dendi solo 的 OpenAI？
pytorch dataloader数据加载占用了大部分时间，各位大佬都是怎么解决的？
国内做NLP业务的香侬科技值得去吗？
如何评价Hinton在加拿大多伦多大学关于用“capsule”作为下一代CNN的演讲？
你实践中学到的最重要的机器学习经验是什么？
全连接层的作用是什么？
如何看UCBerkeley RISELab即将问世的Ray，replacement of Spark？
谈谈机器学习在网络安全领域的局限性，以及是否乐观？
前一个讨论
在长城汽车工作是种怎样的体验？
下一个讨论
结合深度学习的图像修复怎么实现？
相关的话题
如何评价 Kaiming 团队新作 Masked Autoencoders (MAE)？学习两年多，感觉SLAM太难了，大家对此有什么想法？
人工智能领域有哪些精妙的数学原理？
如何评价 Kaiming He 在 ICCV 2017 上拿下双 Best 的 paper？
大三电子类专业要分流，大家能给个建议吗?
能分享你收藏的国外AI talk, seminar平台或网站吗？
2019年，计算机视觉领域，你推荐哪些综述性的文章？
多模态训练，怎么解决不同模态之间差异的问题？
请问下大家训练 SimCSE 时, loss 有没有这样的情况?
应该选择TensorFlow还是Theano？
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
如何评价Facebook AI提出的ResMLP，对比Google的MLP-Mixer?
如何评价 DeepMind 公司？
为什么ViT里的image patch要设计成不重叠？
如何评价谷歌提出的 Pix2Seq：将目标检测看成语言建模，效果超过 DETR？
如何评价哈工大的左旺孟老师？
如何评价微软亚研院提出的把 Transformer 提升到了 1000 层的 DeepNet？
学习两年多，感觉SLAM太难了，大家对此有什么想法？
机器学习能否用于综合评价？具体怎么操作？
batchsize=1时可以用BN吗?
强化学习和自适应控制的关系是什么？
如何看待在某度搜不到megengine官网？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
我应该从计算机视觉回到做FPGA 吗？
视觉算法的工业部署及落地方面的技术知识，怎么学？
如何评价 Kaiming He 在 ICCV 2017 上拿下双 Best 的 paper？
搞机器学习的生环化材是天坑吗？
如何评价Hinton组的新工作SimCLR?
2021年，作为算法工程师的你们会在CV业务落地上用Transformer吗？
如何理解链接预测（link prediction）？