为什么ViT里的image patch要设计成不重叠？ 第1页
1
xiaohuzc 网友的相关建议:
其实这个问题，本身可能没有想象的那么复杂，最开始肯定考虑输入是pixel的，可是计算量承受不起，那就把图像分成patch。
网友的相关建议:
题主的concern是对的，切分-投影的做法确实很直接地兼容Transformer框架，不过这种方法确实有一定问题：
1、如果认为translation invariant是很重要的先验，那这种方法显然不满足这一性质；
2、对patch内部的空间结构信息有破坏，像素结构在上层（随着attention）逐渐丢失。
关于后一点，通过修改网络结构向Transformer block里补充像素结构已经被实验证实是有益的，例如华为诺亚实验室的TNT：
1
相关话题
如何看待Hinton的论文《Dynamic Routing Between Capsules》？多模态方面，有哪些牛组值得我们follow他们的工作？
视觉算法的工业部署及落地方面的技术知识，怎么学？
计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些？
目前工业界常用的推荐系统模型有哪些？
graph convolutional network有什么比较好的应用task？
如何看待亚马逊的无人超市产品 Amazon Go?
行为识别常用哪种特征提取？
如何评价2020年计算机视觉顶会CVPR投稿量破万的现象？
深度学习有哪些好玩的案例？
下一个讨论
如何看待中山大学2021年本科大类招生？
相关的话题
如何直观地解释 backpropagation 算法？请问一下，机器学习领域的联邦学习技术，目前看到最多的是微众银行，国内还有哪些顶级专家及机构和大学？
领域自适应需要用到测试集数据，这样的方法有啥意义呢？
目前，人工智能语音在说中文时的语气感觉上还比较机械，怎样使人工智能语音的语气更自然一些？
nlp有哪些值得完整实现一遍的算法?
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
如何看待旷视科技新产品监视学生上课？
普通程序员如何正确学习人工智能方向的知识？
如何评价 Face++ 旷视科技最新出品的检测专用 backbone 网络 DetNet ？
如何评价 Kaiming 团队新作 Masked Autoencoders (MAE)？
中国人工智能图像识别技术的开创者是谁？
研一，在学机器学习和深度学习，为什么感觉越学越不会，怎么解决这个问题？
为啥gan里面几乎不用pooling？
如何评价 Exploring Simple Siamese Learning?
除了深度学习，机器学习领域近年来还有什么热点吗？
如何评价DALL-E模型的实现？
如何评价百度自动驾驶 ApolloAuto 在 Github 上发布的代码？
为什么有的论文放出训练好的模型和测试脚本，但不开源训练代码？
实验室一块GPU都没有怎么做深度学习？
如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？
人类大脑的聪慧程度以 IQ 为标准，那么人工智能的水平用什么指标来衡量呢？
如何评价 DeepMind 在星际中的失利，以及 OpenAI 在 Dota 上的成功？
如何看待人工智能领域的很多专家认为「人工智能将对人类存亡造成威胁」的观点？
硕士方向，选择迁移学习还是自然语言处理？
什么是蒙特卡罗 Dropout(Monte-Carlo Dropout)？
K-means聚类算法中的K如何确定？
为什么C4.5决策树能处理连续特征，ID3树不能处理连续特征？
研一，在学机器学习和深度学习，为什么感觉越学越不会，怎么解决这个问题？
如果 2台 alphago 不断对战，是否会不断的强大？
基于大数据的个人信用体系有没有可能被滥用？