如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？ 第1页
1
网友的相关建议:
基于个人经验说个，vit的方案在疏松的数据上不行，比如sketch、colormap。
以前只是基于猜想，前段时间做了实验测试。16x16和直接的projection对于大部分自然数据的确是足够的，但是有些数据就是不够。具体可以拿16x16的格子对着数据比较。如果格子间的内容数据几乎差不多，那么就很依赖来自位置的global推理了，对数据增强和数据量都有要求。我猜flower可能就有这样的情况。而imagenet-skhtch的sketch不够稀疏，去掉shade可能就不一样了（似乎又可以搞篇文章）。
另外数据任务对global和local任务要求的情况也有关，但是这个衡量起来就比较难说清楚了。
我自己用的解决方法是，conv downsampling取代projection，然后配合数据稠密化，效果就好了。
xiaohuzc 网友的相关建议:
在大规模数据集上训练，应该vit的优势可能会显现出来，毕竟swin只是一种local attention net，理论上建模效果会比vit这种global attention net要差一些。
1
相关话题
计算机视觉研一，只学过Python基础，目前代码能力很差，要不要换导师，不换的话如何毕业？如何评价微软亚研院提出的把 Transformer 提升到了 1000 层的 DeepNet？
pytorch ddp训练中一个node fail，导致整个训练失败，有可能解决吗？
如何评价移动端吊打一切万众期待的商汤深度学习推理框架PPL开源了却没有支持移动端？
在算力充沛，深度学习模型大行其道的今天，传统机器学习的未来在哪里？
如何看待NIPS2017图灵奖得主贝叶斯网络之父Judea Pearl讲座无人问津？
2021年，作为算法工程师的你们会在CV业务落地上用Transformer吗？
深度学习attention机制中的Q,K,V分别是从哪来的？
神经网络的损失函数为什么是非凸的?
如何理解今年发表在JMLR上随机森林算法SPORF？
前一个讨论
在长城汽车工作是种怎样的体验？
下一个讨论
结合深度学习的图像修复怎么实现？
相关的话题
深度学习中Attention与全连接层的区别何在？如何看待人工智能领域的很多专家认为「人工智能将对人类存亡造成威胁」的观点？
如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？
pytorch 分布式计算 你们都遇到过哪些 坑/bug？
算法岗位真的需要顶会才能入场吗？
如何评价Deepmind自监督新作BYOL？
你所在的研究领域里，有哪些工作的结果虽然不是造假，但是是精挑细选出来的?
你实践中学到的最重要的机器学习经验是什么？
旷视(Face++)完成C轮1亿美元融资，是否说明旷视已经进入独角兽阵营？
迁移学习入门，新手该如何下手？
TVM 最新发布版本 0.3 有哪些亮点？
大家用resnet50在imagenet上面top1最高能到多少？
多模态方面，有哪些牛组值得我们follow他们的工作？
如何理解空洞卷积（dilated convolution）？
NIPS 2018 有什么值得关注的亮点？
如果不按套路下棋是不是就能赢 Alpha Go 了？
深度学习在信息安全的应用有哪些可以关注的人或论文？
如何评价FAIR团队最新推出的RegNet？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
如何评价AlphaGo Zero？
深度学习图像处理什么时候用到GPU？
2021年，ncnn发展的如何了？
怎样让机器有意识?
2019年，计算机视觉领域，你推荐哪些综述性的文章？
当前（2020年）机器学习中有哪些研究方向特别的坑？
NLP 中 prompt learning 有哪些可能的天生缺陷？目前有什么样的方法来解决这样的缺陷？
如何评价 NVIDIA 最新技术 5 秒训练 NERF？
怎样让机器有意识?
如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？
如何看待多模态transformer，是否会成为多模态领域的主流？