为什么ViT里的image patch要设计成不重叠？ 第1页
1
xiaohuzc 网友的相关建议:
其实这个问题，本身可能没有想象的那么复杂，最开始肯定考虑输入是pixel的，可是计算量承受不起，那就把图像分成patch。
网友的相关建议:
题主的concern是对的，切分-投影的做法确实很直接地兼容Transformer框架，不过这种方法确实有一定问题：
1、如果认为translation invariant是很重要的先验，那这种方法显然不满足这一性质；
2、对patch内部的空间结构信息有破坏，像素结构在上层（随着attention）逐渐丢失。
关于后一点，通过修改网络结构向Transformer block里补充像素结构已经被实验证实是有益的，例如华为诺亚实验室的TNT：
1
相关话题
如何评价Yann LeCun 说的「要研究机器学习，本科应尽量多学物理和数学课」？测试集在构造的时候需要人为控制其中应该正确的和应该错误的数据比例吗？
卷积神经网络中卷积核是如何学习到特征的？
AlphaGo 与李世石的对战会推动人类的极限还是机器学习的进步和觉醒？
2019 秋招的 AI 岗位竞争激烈吗？
如何评价谷歌大脑的EfficientNet？
人工智能被高估了吗？
什么时候对数据进行[0,1]归一化，什么时候[-1,1]归一化，二者分别在什么场景？
为什么学习深度学习感觉无法入门？
为什么神经网络具有泛化能力？
下一个讨论
如何看待中山大学2021年本科大类招生？
相关的话题
年轻人为什么要做期货？GAN的生成器是怎么产生图片的？
机器视觉为什么不用手机的镜头，而要用那么大的工业相机？
如何评价 DeepMind 新提出的关系网络（Relation Network）？
领域自适应需要用到测试集数据，这样的方法有啥意义呢？
如何看待与评价 AAAI 2022 的录用结果？
神经网络的万能逼近定理已经发展到什么地步了？
大三电子类专业要分流，大家能给个建议吗?
如何评价最新的Octave Convolution？
神经网络中的能量函数是如何定义的？
如何看待 Nervana 被 Intel 收购？
机器学习中的PR曲线一定会过（1，0）这个点吗？
如何看UCBerkeley RISELab即将问世的Ray，replacement of Spark？
有哪些比较好的元学习（meta learning）领域的学习资源？
如何评价余凯创立的horizon robotics？
如何直观地解释 backpropagation 算法？
有没有什么可以节省大量时间的 Deep Learning 效率神器？
如何看待 NIPS 2018 submission达到近 5000 篇？
OpenCV已经将图像处理(识别)的算法写成函数了,那我们还有必要去学习这些算法不?
如何看待SQuAD比赛中，阿里、MSRA机器阅读理解准确率超越人类？
如何评价《State Estimation for Robotics》？
如何评价清华大学发布的自研深度学习框架-计图(Jittor)？
如何评价 NVIDIA 最新技术 5 秒训练 NERF？
多任务学习成功的原因是引入了别的数据库还是多任务框架本身呢？
你遇见过什么当时很有潜力但是最终没有流行的深度学习算法?
2019年CVPR有哪些糟糕的论文?
为什么在SGD中使用L1正则化很难获得稀疏性？
你所在的研究领域里，有哪些工作的结果虽然不是造假，但是是精挑细选出来的?
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
为什么中文 NLP 数据集这么少？