如何评价FAIR提出的MaskFormer，在语义分割ADE20K上达到SOTA：55.6 mIoU？ 第1页
1
xiaohuzc 网友的相关建议:
之前大部分的语义分割都是用pixel classification，这篇工作的创新之处是看成了一个instance mask prediction，思路挺新奇的。
一点额外想说的是，语义分割本身是没有instance区分的，标注也没有区分instance，那么如果看成instance mask预测的话，就只能简单地根据类别生成K个不同的mask，即各个类别的mask，这里也不区分类内的instance。这个instance mask prediction中的instance就是相对同一类的了，预测的mask也是固定为K，此时N queries其实也可以简化为K queries。
如果再往前的话，K queries可以固定为每个类别的queries，那么训练的loss就可以变成简单的K个sigmoid loss，即区分图像中是不是含有这个类别。每个类别的query和全局特征结合得到该类别的mask prediction。和论文里面说的fixed match基本类似。
而论文提出的方案更通用化，毕竟可以用于全景分割上。
1
相关话题
AlphaGo 与李世石的第五局比赛中有哪些值得关注之处？为什么苏联打下了如此强的数学基础，俄罗斯却至今无法成为AI强国？
为什么现在很多人不看好商汤科技？
赵泠是不是人工智能？
2022 年初，你认为哪项成果代表了现在人工智能的最高水平？
如何激怒一位人工智能（机器学习、深度学习、强化学习等）爱好者？
人工智能从业者有哪些「职业护城河」？
有哪些相见恨晚的家居好物推荐？
如何看待李沐老师提出的「用随机梯度下降来优化人生」？
如何看待swin transformer成为ICCV2021的 best paper？
相关的话题
AI（或者说神经网络/深度学习）能够实现科学（尤其是物理学）研究中提出假设这一步嘛？如何评价 2021 年 12 月新改版的知识引擎 magi.com？
芯片晶体管数量超过300亿大概要多久？
如何评价野狐的国产围棋 AI「绝艺」？
用生成模型做数据增强data augmentation时，如何从合成数据中筛选出质量较好的样本？
如何看待何恺明最新一作论文Masked Autoencoders？
mxnet的并行计算为什么这么牛，是什么原理？
机器学习到底是什么，如何使用这项技术？
人工智能和自动控制能在一起擦出什么样的火花？
是否有算法可以去除电影中的马赛克？
如何看待指出 神经网络的训练罪魁祸首是退化一文？
如何看待 Google 围棋 AI AlphaGo 击败欧洲围棋冠军？
如何评价Google发布的第二代深度学习系统TensorFlow?
什么是大模型？超大模型？Foundation Model？
如何学习 SQL 语言？
为什么强大的 MXNet 一直火不起来？
图片上训的模型，怎么迁移视频上呢？
刚进算法团队，大牛们讨论高深的 cv 术语和算法，如何才能听懂？
如何评价FAIR提出的MaskFormer，在语义分割ADE20K上达到SOTA：55.6 mIoU？
为什么机器学习解决网络安全问题总是失败?
电子（EE）专业犹豫要不要研究生转计算机专业（CS）？
什么是机器学习？
如何看待NVIDIA 即将开源的DLA？
清华大学这样等级的学府为什么要与其他方合作进行“华智冰”这样恶劣的炒作？
Transformer在工业界的应用瓶颈如何突破？
现在tensorflow和mxnet很火，是否还有必要学习scikit-learn等框架？
关于材料计算，模拟，仿真什么区别?
现在机器学习工业界和学术界的差别越来越大了吗？尽早实习和踏实科研各有什么利弊？
如何评价中国人民大学高瓴人工智能学院教授的薪酬标准？
有哪些可以自学机器学习、深度学习、人工智能的网站？