为什么ViT里的image patch要设计成不重叠？ 第1页
1
xiaohuzc 网友的相关建议:
其实这个问题，本身可能没有想象的那么复杂，最开始肯定考虑输入是pixel的，可是计算量承受不起，那就把图像分成patch。
网友的相关建议:
题主的concern是对的，切分-投影的做法确实很直接地兼容Transformer框架，不过这种方法确实有一定问题：
1、如果认为translation invariant是很重要的先验，那这种方法显然不满足这一性质；
2、对patch内部的空间结构信息有破坏，像素结构在上层（随着attention）逐渐丢失。
关于后一点，通过修改网络结构向Transformer block里补充像素结构已经被实验证实是有益的，例如华为诺亚实验室的TNT：
1
相关话题
应届硕士毕业生如何拿到知名互联网公司算法岗（机器学习、数据挖掘、深度学习） offer？为什么 larger batch size 对对比学习的影响比对监督学习的影响要大？
深度学习有哪些好玩的案例？
如何评价 MXNet 被 Amazon AWS 选为官方深度学习平台？
BERT模型可以使用无监督的方法做文本相似度任务吗？
迁移学习与fine-tuning有什么区别？
研究推荐系统要对NLP很了解吗？
如何评价 MLSys 这个会议？
人工智能在发展到极高的程度之后能否算得上是一种生命？
如何看待NIPS2017图灵奖得主贝叶斯网络之父Judea Pearl讲座无人问津？
下一个讨论
如何看待中山大学2021年本科大类招生？
相关的话题
为什么这么多 NLP 大牛硕士毕业去企业不留在学术界？深度学习对图像的处理，为什么大多基于RGB，而没有其他色彩空间，比如HSV？
怎么在家学习一些关于机器学习的知识?
人工智能技术会不会最终赶上微积分的历史地位？
现在的人工智能是否走上了数学的极端？
了解/从事机器学习/深度学习系统相关的研究需要什么样的知识结构？
如何理解attention中的Q,K,V？
TensorFlow 有哪些令人难以接受的地方？
是不是机器学习的框架都偏向 Python ？如果是，为什么？
领域自适应需要用到测试集数据，这样的方法有啥意义呢？
知识图谱+nlp，有什么适合硕士独自研究的方向？
有没有什么可以节省大量时间的 Deep Learning 效率神器？
如何简单理解贝叶斯决策理论（Bayes Decision Theory）？
金融学及金融从业者如何应对人工智能和大数据？
迁移学习与fine-tuning有什么区别？
为什么强大的 MXNet 一直火不起来？
在与 AlphaGo（包括 Master） 的对局中是否出现了一些人类历史上从未想到过的着法、技巧？
如何看待 Google 围棋 AI AlphaGo 击败欧洲围棋冠军？
如何评价最近火热的对比学习，会引领预训练模型新的范式嘛?
实验室一块GPU都没有怎么做深度学习？
新手如何实现个简单AutoML框架。有参考的github开源项目介绍吗？
深度学习（机器学习）的下一步如何发展？
深度学习对图像的处理，为什么大多基于RGB，而没有其他色彩空间，比如HSV？
如何理解Inductive bias？
如何理解链接预测（link prediction）？
生成对抗网络的毕设怎么上手？
如何评价何恺明、Ross Girshick组的自监督时空表征学习新作？
人工智能和自动控制能在一起擦出什么样的火花？
请问在金融风控方向，如何运用用户行为序列进行特征设计和挖掘？
请问应该怎样去学习图像识别和深度学习？