为什么ViT里的image patch要设计成不重叠？ 第1页
1
xiaohuzc 网友的相关建议:
其实这个问题，本身可能没有想象的那么复杂，最开始肯定考虑输入是pixel的，可是计算量承受不起，那就把图像分成patch。
网友的相关建议:
题主的concern是对的，切分-投影的做法确实很直接地兼容Transformer框架，不过这种方法确实有一定问题：
1、如果认为translation invariant是很重要的先验，那这种方法显然不满足这一性质；
2、对patch内部的空间结构信息有破坏，像素结构在上层（随着attention）逐渐丢失。
关于后一点，通过修改网络结构向Transformer block里补充像素结构已经被实验证实是有益的，例如华为诺亚实验室的TNT：
1
相关话题
在算力充沛，深度学习模型大行其道的今天，传统机器学习的未来在哪里？反馈控制理论在优化、机器学习等领域有哪些应用？
谈谈机器学习在网络安全领域的局限性，以及是否乐观？
能否对卷积神经网络工作原理做一个直观的解释？
如何看待「机器学习不需要数学，很多算法封装好了，调个包就行」这种说法？
如何评价FAIR提出的MaskFormer，在语义分割ADE20K上达到SOTA：55.6 mIoU？
NLP领域，你推荐哪些综述性的文章？
是不是对于任意 n×n 大小的围棋棋盘，人类都赢不了 AlphaGo Zero 了？
无人车为什么一定要用激光雷达做，双目视觉难道不行吗？
分类机器学习中，某一标签占比太大（标签稀疏），如何学习？
下一个讨论
如何看待中山大学2021年本科大类招生？
相关的话题
如何看待 AI 换脸软件「ZAO」的爆火？如何看待Yoav Goldberg 怒怼来自MILA的GAN for NLG的paper?
人是如何做黑盒优化的？
如何评价生成模型框架 ZhuSuan?
为什么都说神经网络是个黑箱？
如何评价Kaiming He团队的MoCo v3？
深度学习有哪些好玩的案例？
有哪些解决完之后让你拍案叫绝的算法问题？
二次型的意义是什么？有什么应用？
如何评价生成模型框架 ZhuSuan?
对于技术岗位而言，开发岗累还是算法岗累呢？
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
多任务学习成功的原因是引入了别的数据库还是多任务框架本身呢？
如何看UCBerkeley RISELab即将问世的Ray，replacement of Spark？
为什么我用相同的模型，数据，超参，随机种子，在两台服务器会得到不同的结果？
CVPR 2015 有什么值得关注的亮点？
如何看待SIREN激活函数的提出？
如何评价 Kaiming 团队新作 Masked Autoencoders (MAE)？
Pytorch有什么节省显存的小技巧？
GAN:固定训练好的判别器网络，去指导训练生成器为什么不可以？
如何看待李沐老师提出的「用随机梯度下降来优化人生」？
如何看待swin transformer成为ICCV2021的 best paper？
如何看待Hinton的论文《Dynamic Routing Between Capsules》？
参加kaggle竞赛是怎样一种体验？
什么是蒙特卡罗 Dropout(Monte-Carlo Dropout)？
中科院某所研一新生，小样本学习、数据融合、强化学习、图神经网络、资源受限的计算这几个方向选哪个更好？
AMD 开源高性能机器智能库MIopen是否可以和cuDNN抗衡？
有哪些比较好的元学习（meta learning）领域的学习资源？
2018年了，MXNet 发展的如何了？
为什么多标签分类（不是多类分类）损失函数可以使用Binary Cross Entropy？