百科问答小站 logo
百科问答小站 font logo



如何评价「Patches are all you need」? 第1页

  

user avatar   huo-hua-de-41 网友的相关建议: 
      

中国古人云,一图胜千言。意思就是说,要理解一张图像至少需要32乘32个patch,对于224 x 224的输入图像,那patch size就是7,与文中结论一致。

当计算机视觉科学家不断攀登山峰的时候,却发现中国的古代哲学家已经站在山顶等他们很久了。

我又一次被中国古人的智慧所折服,我准备写一篇Chinese philosophy is all you need

狗头


user avatar   xiaohuzc 网友的相关建议: 
      

这两篇论文的重点不太一样。

Demystifying Local Vision Transformer: Sparse Connectivity, Weight Sharing, and Dynamic Weight

这里核心是总结了local vision transformer的特点,swin核心是7*7的window attention,而换成7*7 depthwise conv也同样具备local vision transformer的特点,效果也是杠杠的。

Patches Are All You Need?

这篇论文,虽然套在了ViT架构上,从本质上看,就是去掉了CNN常用的downsample,变成了完全堆积stride=1卷积层了,这样也必须通过较大的kernel size弥补感受野。ViT设计patch是为了降低计算量,而且attention是全局建模的,但是卷积是局部建模的,论文也没有太明确这点,至于论文的题目,我觉得看论文很难得到这个点。


user avatar    网友的相关建议: 
      

女王:求求题主放过我,我可不敢有什么政绩。。。




  

相关话题

  为什么VAE-GAN的训练很容易发生梯度爆炸,如何避免? 
  2020-2021年NLP有什么核心技术的更迭吗?或者有什么推动领域发展的paper吗? 
  多任务学习成功的原因是引入了别的数据库还是多任务框架本身呢? 
  如何看待旷视 detection 组组长俞刚跳槽腾讯 PCG 光影研究室? 
  如何看待科技部下发通知,要求在疫情防控任务完成之前不应将精力放在论文发表上? 
  当今最需要科学家解决的热点问题是什么?我们该如何找到答案? 
  由于审稿人不负责任的评价导致拒搞怎么办? 
  OpenAI 发布文字生成图像工具 DALL·E 2,它的画作水平如何?从技术角度如何评价它的能力? 
  即将上研究生的科研小白,该怎么阅读文献? 
  读博士或者拿到博士学位以后经历和感受是怎样的? 

前一个讨论
有哪些适合科研工作者的解压方式?
下一个讨论
在高校招生名额固定的情况下,生化环材劝退的意义是什么?





© 2025-05-31 - tinynew.org. All Rights Reserved.
© 2025-05-31 - tinynew.org. 保留所有权利