百科问答小站 logo
百科问答小站 font logo



如何评价「Patches are all you need」? 第1页

  

user avatar   huo-hua-de-41 网友的相关建议: 
      

中国古人云,一图胜千言。意思就是说,要理解一张图像至少需要32乘32个patch,对于224 x 224的输入图像,那patch size就是7,与文中结论一致。

当计算机视觉科学家不断攀登山峰的时候,却发现中国的古代哲学家已经站在山顶等他们很久了。

我又一次被中国古人的智慧所折服,我准备写一篇Chinese philosophy is all you need

狗头


user avatar   xiaohuzc 网友的相关建议: 
      

这两篇论文的重点不太一样。

Demystifying Local Vision Transformer: Sparse Connectivity, Weight Sharing, and Dynamic Weight

这里核心是总结了local vision transformer的特点,swin核心是7*7的window attention,而换成7*7 depthwise conv也同样具备local vision transformer的特点,效果也是杠杠的。

Patches Are All You Need?

这篇论文,虽然套在了ViT架构上,从本质上看,就是去掉了CNN常用的downsample,变成了完全堆积stride=1卷积层了,这样也必须通过较大的kernel size弥补感受野。ViT设计patch是为了降低计算量,而且attention是全局建模的,但是卷积是局部建模的,论文也没有太明确这点,至于论文的题目,我觉得看论文很难得到这个点。


user avatar    网友的相关建议: 
      

女王:求求题主放过我,我可不敢有什么政绩。。。




  

相关话题

  为什么越来越多博士逃离科研? 
  今年(2021)有什么生物化学方面的爆炸性新闻吗? 
  2021年了,如何评价微软亚研提出的对偶学习(Dual Learning)? 
  深度学习在无人驾驶汽车上面的运用有哪些? 
  如何评价张益唐「如果在中国的大学,我就废了,根本无法取得现在的成就」这句话? 
  如何看待学术圈里的关系户(亲戚关系)?整治可能性如何? 
  山东海阳成为中国第一座「完全实现核能供暖」的城市,核电规模、技术的发展会为能源领域带来哪些新思路? 
  如何评价南京理工大学合成世界首个五唑阴离子盐? 
  多任务学习成功的原因是引入了别的数据库还是多任务框架本身呢? 
  如何用平常人的语言一句话概括你的论文? 

前一个讨论
有哪些适合科研工作者的解压方式?
下一个讨论
在高校招生名额固定的情况下,生化环材劝退的意义是什么?





© 2025-05-09 - tinynew.org. All Rights Reserved.
© 2025-05-09 - tinynew.org. 保留所有权利