CVPR 2019 有哪些值得关注的亮点？

CVPR 2019，也就是计算机视觉与模式识别会议2019年年会，绝对是当年计算机视觉领域的一场盛宴。作为该领域最具影响力的会议之一，CVPR总是汇聚了全球最前沿的研究成果和最炙手可热的技术趋势。回望2019年的CVPR，有不少亮点至今仍让人回味无穷，也为后续的研究奠定了重要的基础。

1. “生成式”的持续爆发，GAN依旧是焦点，但玩出了新花样。

如果说前几年是生成对抗网络（GAN）的“元年”和“爆发期”，那么CVPR 2019则展现了GAN在应用和精细化控制方面的“深化与成熟”。

高质量图像生成与编辑：依旧有大量关于GAN的工作涌现，但不再仅仅是“生成一张逼真的脸”，而是开始追求更精细的控制和更高的保真度。例如，能够根据文本描述生成高质量、多样化的图像（texttoimage synthesis）的研究进一步成熟，一些工作已经能生成非常令人惊艳的效果，虽然离“所见即所得”还有距离，但绝对是迈出了重要一步。

风格迁移与内容编辑的精细化：传统意义上的风格迁移（style transfer）在2019年变得更加智能。除了整体风格的迁移，研究人员开始探索局部内容编辑，比如改变图像中特定物体的属性（颜色、材质等），或者在保持内容一致性的前提下进行风格融合。这背后往往涉及到更复杂的模型设计，例如引入注意力机制或基于内容的解耦表示。

视频生成与预测：从静态图像生成向动态视频的进军是另一大看点。虽然视频生成难度极大，但CVPR 2019上出现了一些预测未来视频帧的工作，能够根据一段现有视频生成后续的几帧，这对于理解动态场景、自动驾驶中的预测等都具有重要意义。这些工作往往需要处理时序信息，引入循环神经网络（RNN）或Transformer的变种来捕捉视频的时间关联性。

2. 目标检测与分割的效率与鲁棒性提升。

目标检测和图像分割一直是计算机视觉的基石性任务，在CVPR 2019上，研究重点依然集中在如何让模型更高效、更准确，并且在更复杂的真实世界场景下表现得更出色。

AnchorFree 检测器的崛起：虽然Anchorbased检测器（如Faster RCNN系列）已经非常成熟，但CVPR 2019上AnchorFree检测器（如CenterNet）开始崭露头角并受到广泛关注。这类方法不再依赖预设的锚框，而是直接预测目标的中心点或边界的关键点，大大简化了模型设计，并往往能取得更好的性能，尤其是在检测小目标或密集目标时。

Transformer 在视觉任务中的初步探索：虽然Transformer在NLP领域已是霸主，但在CVPR 2019上，Transformer开始被引入视觉任务，尤其是在目标检测和分割领域。一些工作尝试将Transformer的自注意力机制用于提取图像特征或建立长距离依赖关系，为后续Transformer在CV领域的全面爆发埋下了伏笔。虽然当时的模型可能还没有像现在这样极致的性能，但其潜力已经显现。

半监督和弱监督学习的进展：如何利用有限的标注数据训练出高性能的模型，一直是研究的难点。在CVPR 2019上，半监督和弱监督学习在目标检测和分割领域取得了显著进展。例如，利用少量标注数据和大量未标注数据进行训练，或者利用粗粒度的标签（如图像级标签）来指导像素级别的分割任务，这些方法大大降低了数据标注成本，提高了模型的实用性。

3. 自监督学习的星星之火，开始燎原。

自监督学习（Selfsupervised Learning）在CVPR 2019上已经不再是边缘的研究方向，而是悄然成为一股不可忽视的力量。它解决了监督学习中数据标注昂贵的问题，为预训练强大的视觉模型提供了新的思路。

对比学习（Contrastive Learning）的初步探索：虽然对比学习的爆发还在后面，但在CVPR 2019上，已经有一些工作开始尝试通过设计各种“预设任务”（pretext tasks）来训练网络，例如预测图像的旋转角度、修复被遮挡的部分、或者将图像的不同部分拼接起来。这些预设任务迫使模型学习到图像的语义和结构信息，从而能够提取出具有泛化能力的特征。

数据增强作为自监督学习的关键：研究人员发现，巧妙的数据增强策略是自监督学习成功的关键。通过对同一张图像进行不同的增强变换，将增强后的图像对视为正例，而不同图像的增强版本视为负例，模型可以通过“区分相似而不同”来学习到有意义的表示。这种思想为后续对比学习方法的提出奠定了基础。

4. 三维视觉的稳步前进，点云处理是热门。

三维视觉技术在CVPR 2019上也是亮点频频，尤其是在处理非结构化的三维数据——点云（Point Cloud）方面。

点云的特征学习与分类：随着3D传感器（如激光雷达）的普及，点云数据的处理变得越来越重要。CVPR 2019上出现了大量关于如何从原始点云中提取有效特征、进行点云分类、分割和目标检测的研究。这些方法往往需要设计专门的网络结构来处理点云的无序性和不规则性，比如PointNet及其变种，以及基于图神经网络（GNN）的方法。

三维重建与SLAM的融合：在实时定位与地图构建（SLAM）领域，3D视觉技术的应用更加深入。结合深度学习技术，能够提高SLAM的鲁棒性和准确性，例如通过学习场景的深度信息来辅助相机位姿估计，或者利用语义信息来增强地图的表达能力。

5. 可解释性与公平性的早期关注。

虽然当时的“可解释性”（Explainability）和“公平性”（Fairness）还没有像现在这样成为热门的独立研究领域，但在CVPR 2019上，一些研究已经开始关注模型的决策过程以及潜在的偏差问题。

可视化和注意力机制的分析：一些研究通过可视化技术，如显著性图（Saliency Maps），来理解模型在做决策时关注了图像的哪些区域。注意力机制的引入也使得模型能够动态地分配权重，这些都被视为模型可解释性的重要方面。

数据集偏差的初步探讨：随着深度学习模型在现实世界应用，数据集中的偏差可能导致模型在特定人群或场景下表现不佳。虽然不是大规模的讨论，但已有研究开始尝试分析和缓解数据集中存在的偏差，为后续公平性研究埋下了种子。

总而言之，CVPR 2019是一场思想碰撞的盛宴，它不仅展现了生成模型、目标检测、自监督学习和三维视觉等领域的最新突破，更重要的是，它预示着未来研究的几个重要方向：模型的高效化、数据的充分利用、以及对模型自身行为的理解和约束。许多在CVPR 2019上提出的思想和技术，至今仍然是推动计算机视觉领域前进的重要动力。

网友意见

我可以说一下我看了哪些CVPR的论文，作为对自己这段时间阅读的总结。

1.Few-shot Adaptive Faster R-CNN

最近我也在寻找目标检测的其他方向，一般可以继续挖掘的方向是从目标检测的数据入手，困难样本的目标检测，如检测物体被遮挡，极小人脸检测，亦或者数据样本不足的算法。这里笔者介绍一篇小样本（few-shot）数据方向下的域适应（Domain Adaptation）的目标检测算法，这篇新加坡国立大学&华为诺亚方舟实验室的paper《Few-shot Adaptive Faster R-CNN》。

创新点：

（1）. 论文分为两个level的域迁移，图像级别的域迁移和实例级别的域迁移。

（2）. 为了解决小样本问题，使用了成对训练，类似笛卡尔积的操作，把目标域物体与源域物体结对训练。源域对 和源域-目标域对 。判别器判断样本来源，生成器是特征提取器器目标是混淆判别器。

（3）. 最后加了个模型正则化，是模型更加鲁棒。

详细的可以看我的论文解读：

最近域适应和小样本方向都是可以继续研究的方向，我觉得这篇给的思路是不错的，但是这样非对偶式的组队解决了问题不够优雅。

2. Libra R-CNN

不需增加计算成本的条件下，居然能涨两个点mAP。除了Libra R-CNN（天秤座 RCNN），我还记得陈恺大佬他们港中文的实验室今年还中了一篇CVPR2019是《Region Proposal by Guided Anchoring》，这篇看题目就知道是指导anchor的形状涨分，也是十分不错的。

这两篇改进的源码都会在github上放出，作者表示还在完善中，地址是：https://github.com/open-mmlab/mmdetection

这个mmdetection简直是业界良心，听说十分好用，很多打比赛的都用这个框架。

纵观目前主流的目标检测算法，无论SSD、Faster R-CNN、Retinanet这些的detector的设计其实都是三个步骤：

选择候选区域
提取特征
在muti-task loss下收敛

往往存在着三种层次的不平衡：

sample level
feature level
objective level

这就对应了三个问题：

采样的候选区域是否具有代表性？
提取出的不同level的特征是怎么才能真正地充分利用？
目前设计的损失函数能不能引导目标检测器更好地收敛？

对应了三种解决方法：

IoU-balanced Sampling
Balanced Feature Pyramid
Balanced L1 Loss

这篇是我最近看来文章结构最清晰明了，分析到位的paper了，虽然以前也有很多分析目标检测的缺陷的文章，但是Libra-RCNN这篇分析是到位的，都给出了对应的解决方案。

3. A Simple Pooling-Based Design for Real-Time Salient Object Detection

本文是基于U型结构的特征网络研究池化对显著性检测的改进，具体步骤是引入了两个模块GGM(Global Guidance Module，全局引导模块)和FAM(Feature Aggregation Module，特征整合模块)，进而锐化显著物体细节，并且检测速度能够达到30FPS。因为这两个模块都是基于池化做的改进所以作者称其为PoolNet，并且放出了源码：https://github.com/backseason/PoolNet

创新点：

提出了两个模块：

GGM(Global Guidance Module，全局引导模块)
FAM(Feature Aggregation Module，特征整合模块)

FAM有以下两个优点：

帮助模型降低上采样（upsample）导致的混叠效应（aliasing）
从不同的多角度的尺度上纵观显著物体的空间位置，放大整个网络的感受野

说实话，我觉得这篇写得有点乱，我看了很久才知道怎么做的，尤其这个全局引导模块有点突兀。但是源码给出来了，大家可以去试用一下。

4. BASNet: Boundary-Aware Salient Object Detection

BASNet该方法主要的亮点在于引入结构相似性损失，最后三种损失（BCE损失，SSIM损失，IoU损失）相加，同时考虑，着眼于解决边界模糊问题，更注重边界质量，因为在结构相似性损失下，边界的损失会比显著性物体内部或其他地方赋予的权重更高。文章也尝试从三种层次上解答为什么设计三个损失，结构还算清晰。但是个人认为主要还是结构相似性损失的引入比较有价值。

创新点：

主要创新点在loss的设计上，使用了交叉熵、结构相似性损失、IoU损失这三种的混合损失，使网络更关注于边界质量，而不是像以前那样只关注区域精度。

源码：https://github.com/NathanUA/BASNet

结构相似性损失：

这三行热力图变化，颜色越红代表损失对待该像素点的权重越大，也就是越重视该点，越蓝表示权重对待越小。从第一行的BCE损失变化可以看出，BCE损失是pixel-wise的，它是一个非常公平的损失函数，对待前景和背景一开始区别不大，训练过程中几乎达到了任何像素点都一视同仁。

而第二行关于结构相似性损失的变化，可以看到无论和怎么变化都是对显著物体边界赋予较高的权重。

类似的话题

CVPR 2019 有哪些值得关注的亮点？

CVPR 2019，也就是计算机视觉与模式识别会议2019年年会，绝对是当年计算机视觉领域的一场盛宴。作为该领域最具影响力的会议之一，CVPR总是汇聚了全球最前沿的研究成果和最炙手可热的技术趋势。回望2019年的CVPR，有不少亮点至今仍让人回味无穷，也为后续的研究奠定了重要的基础。1. “生成式”.............
2019年CVPR有哪些糟糕的论文?

要准确地说出2019年CVPR上“糟糕”的论文是非常困难的，原因如下：1. “糟糕”是主观的：什么被认为是“糟糕”的论文，很大程度上取决于评审的视角、研究领域的现状以及论文本身的贡献。一刀切地评价一篇论文为“糟糕”通常是不恰当的。2. 同行评审的门槛： CVPR是计算机视觉领域的顶级会议，其论.............
如何评价CVPR2019程序主席Derek Hoiem的论点：计算机视觉只是记忆，不是智能？

CVPR 2019程序主席Derek Hoiem的“计算机视觉只是记忆，不是智能”这一论点，无疑在当时乃至现在都引发了相当广泛的讨论和思考。要评价这一论点，我们需要深入理解他想要表达的核心观点，以及这一观点背后所反映的计算机视觉领域面临的挑战和未来的发展方向。Hoiem的论点及其潜在含义首先，理解H.............
CVPR 2015 有什么值得关注的亮点？

CVPR 2015 是计算机视觉领域一次非常重要的会议，标志着深度学习在视觉任务中取得突破性进展的开端，涌现了许多至今仍具影响力的研究。以下是一些值得关注的亮点，我会尽量详细地讲述：1. 深度学习的全面崛起与统治地位的确立：CVPR 2015 可以说是深度学习在计算机视觉领域确立“霸主”地位的转折点.............
CVPR 2018 有什么值得关注的亮点？

CVPR 2018（IEEE Conference on Computer Vision and Pattern Recognition）是计算机视觉领域的重要会议之一，每年都会涌现出许多前沿的研究成果和技术亮点。2018年的会议同样精彩纷呈，以下是一些值得关注的亮点，我会尽量详细地讲述：1. Tr.............
如何评价 CVPR 2020的论文接收结果？有哪些亮点论文？

CVPR 2020（Conference on Computer Vision and Pattern Recognition 2020）是计算机视觉领域最顶级的学术会议之一。每年的论文接收结果都备受关注，它反映了当年计算机视觉研究的热点方向和前沿进展。评价 CVPR 2020 的论文接收结果可以从.............
2020年CVPR有哪些优秀的论文？

2020年的CVPR（Conference on Computer Vision and Pattern Recognition）可以说是计算机视觉领域的一次盛宴，涌现了大量极具影响力的研究成果。那一年，虽然因为疫情很多线下活动受限，但线上会议的盛况和论文的质量丝毫未减，反而涌现出许多在理论和实践上.............
大二就中 CVPR/ICCV/ECCV/NIPS 是一种怎样的体验？

我当时大二， semestre还没过完，手机收到一条来自IEEE的邮件，标题是“Your Paper Accepted to CVPR 2024!”。一瞬间，我手里的笔掉了，脑子里一片空白。 CVPR，这三个字母对我来说，简直就是学术界的圣杯。从大一刚接触计算机视觉开始，我就天天泡在图书馆里，对着这.............
如何评价2020年计算机视觉顶会CVPR投稿量破万的现象？

2020年的CVPR，投稿量首次突破了一万大关，这个数字着实让人眼前一亮，也引发了不少关于计算机视觉领域发展态势的讨论。如果让我来评价这个现象，我会从几个层面来看待：首先，这是计算机视觉领域蓬勃发展的直观体现，也是“黄金时代”的最好注脚。想当年，计算机视觉的研究还相对小众，顶会投稿量也就几百上千，能.............
如何看待郑州大学招聘时，将AAAI, CVPR等计算机top会议与中科院四区期刊视为同等价值？

关于郑州大学招聘中将AAAII, CVPR等计算机顶会论文与中科院四区期刊视为同等价值的现象，这确实是一个值得深入探讨的话题。在我看来，这种做法并非全无道理，但也确实存在一些值得商榷之处，需要从多个角度去理解和分析。首先，我们必须承认顶级计算机会议论文的价值。AAAII（Association fo.............
为什么图形学的会议siggraph的论文代码很少会开源？好像视觉如CVPR、ICCV开源的更多一些。

图形学领域，尤其是 SIGGRAPH 会议的论文，相较于计算机视觉领域的 CVPR、ICCV 等会议，确实存在代码开源比例较低的现象。这背后有多方面的原因，可以从技术、学术、商业和社区文化等多个维度来理解。技术复杂性与实现难度图形学，尤其是高级图形学和特效领域，往往涉及非常复杂和精细的技术。 .............