如何评价 CVPR 2020的论文接收结果？有哪些亮点论文？
CVPR 2020（Conference on Computer Vision and Pattern Recognition 2020）是计算机视觉领域最顶级的学术会议之一。每年的论文接收结果都备受关注，它反映了当年计算机视觉研究的热点方向和前沿进展。评价 CVPR 2020 的论文接收结果可以从多个角度进行，并突出一些具有代表性的亮点论文。
一、CVPR 2020 论文接收结果的整体评价
CVPR 2020 的论文接收情况可以从以下几个方面来评价：
1. 投稿量与接收率：
投稿量巨大： CVPR 作为顶级会议，每年投稿量都呈现增长趋势。2020 年也不例外，投稿数量非常庞大，这表明计算机视觉领域的活跃度和研究者的热情依旧高涨。
竞争激烈： 随之而来的是极低的接收率。通常 CVPR 的接收率在 20% 左右，但具体年份会有波动。2020 年的接收率也反映了极高的学术门槛，只有最优秀、最前沿的研究成果才能够脱颖而出。
对作者的影响： 极低的接收率意味着即使是高质量的研究也可能因为席位有限而被拒绝，这对研究者来说是一种巨大的挑战，同时也促使他们不断提升研究的创新性和严谨性。
2. 研究方向的趋势与热度：
CVPR 2020 的论文接收结果也清晰地反映了当时计算机视觉领域的研究热点和发展趋势，主要体现在以下几个方面：
自监督学习 (SelfSupervised Learning SSL)： 自监督学习在 CVPR 2020 上占据了非常重要的位置。随着大规模有标签数据集的获取成本越来越高，研究者们更加关注如何利用无标签数据进行预训练，从而提升下游任务的性能。对比学习 (Contrastive Learning) 是自监督学习中的一个重要分支，许多优秀的论文都围绕着如何设计有效的对比损失函数、数据增强策略以及模型架构展开。
Transformer 在视觉领域的应用： 虽然 Transformer 最初在自然语言处理领域取得了巨大成功，但 CVPR 2020 上 Transformer 在计算机视觉任务上的应用也开始崭露头角，并逐渐成为一股重要的力量。例如，将 Transformer 应用于图像分类、目标检测、语义分割等任务，并取得了不错的成果。这预示着 Transformer 架构将成为未来视觉模型的重要组成部分。
模型压缩与高效推理 (Model Compression & Efficient Inference)： 随着深度学习模型规模的不断增大，模型部署到边缘设备或低功耗场景的需求也日益增长。因此，模型压缩技术，如知识蒸馏 (Knowledge Distillation)、量化 (Quantization)、剪枝 (Pruning) 等，以及如何设计更轻量级的网络结构成为研究的热点。
少样本学习与零样本学习 (FewShot Learning & ZeroShot Learning)： 在实际应用中，很多场景难以获得大量的标注数据，因此如何让模型在少量甚至没有标注样本的情况下进行学习，是重要的研究方向。CVPR 2020 上的相关论文也体现了对这一问题的关注。
数据增强 (Data Augmentation)： 数据增强是提升模型鲁棒性和泛化能力的关键技术。除了传统的几何变换和颜色变换，更智能化的数据增强方法，如自动数据增强 (AutoAugment) 及其变种，以及利用生成模型进行数据增强的研究也受到了广泛关注。
可解释性与鲁棒性 (Explainability & Robustness)： 随着深度学习模型的广泛应用，如何理解模型的决策过程 (可解释性) 以及如何提高模型对对抗性攻击的抵抗能力 (鲁棒性) 也越来越受到重视。
生成模型 (Generative Models)： GANs (Generative Adversarial Networks) 等生成模型在图像生成、风格迁移、超分辨率等方面的研究依然活跃，并不断有新的改进和应用出现。
目标检测与分割的最新进展： 在目标检测和语义分割领域，研究者们不断提出新的网络架构、损失函数和训练策略，以期在精度、速度和鲁棒性上取得更好的平衡。Anchorfree 的目标检测方法，以及更精细化的分割技术也是热点。
3. 跨领域融合：
CVPR 2020 也展现了计算机视觉与其他领域的融合，例如：
CV 与 NLP 的结合： 例如，利用自然语言描述来指导图像生成或检索。
CV 与 3D 视觉的结合： 在自动驾驶、机器人等领域，3D 重建、点云处理等技术是核心。
CV 与图神经网络 (GNNs) 的结合： 在处理具有结构化关系的数据时，GNNs 显示出潜力。
二、CVPR 2020 的亮点论文 (部分示例)
要全面列举 CVPR 2020 的所有亮点论文非常困难，因为“亮点”本身带有一定的主观性，并且很多论文都具有创新性。以下列举一些在当时引起广泛关注或具有代表性的研究方向的论文，并尽量详细说明其亮点：
1. 自监督学习方向：
"A Simple Framework for Contrastive Learning of Visual Representations" (SimCLR)
所属单位： Google Research, UC Berkeley
亮点： 这篇论文提出了一个非常简洁且强大的对比学习框架 SimCLR。它的核心思想是通过数据增强 (如裁剪、颜色失真、旋转等) 来生成同一图像的两个不同“视图”，并使这两个视图的表示在潜在空间中尽可能接近，而与其他图像的表示保持距离。SimCLR 的关键创新点在于：
强大的数据增强策略： 使用了组合的数据增强方法，并证明了其有效性。
大型批次和更大的模型： 证明了通过增加批次大小和模型容量可以显著提升自监督学习的性能。
非线性投影头： 在编码器之上增加了一个非线性投影头，用于计算对比损失，这被证明比直接使用编码器的输出更有效。
影响： SimCLR 的简洁性和出色的性能极大地推动了对比学习的发展，成为后续许多自监督学习研究的重要基准和灵感来源。它表明，只需精心设计的对比目标和数据增强，无需复杂的网络结构或专门设计的损失函数，就能在无监督预训练中取得接近有监督学习的性能。
"Momentum Contrast for Unsupervised Visual Representation Learning" (MoCo)
所属单位： Facebook AI Research (FAIR)
亮点： MoCo 提出了一种更高效的对比学习框架，解决了对比学习中需要大批次数据的限制。其核心思想是：
动量编码器 (Momentum Encoder)： 使用一个“动量编码器”来维护一个“队列” (queue) 的负样本。这个动量编码器是主编码器的指数移动平均版本，更新速度较慢。这样，每个批次中的样本既是正样本，也作为动量编码器产生的负样本，形成了一个不断更新的动量队列，从而实现了在有限批次大小下也能获得大量高质量负样本。
内存队列 (Memory Queue)： 将负样本存储在一个可重用的大型队列中，而不是在每个批次中都重新采样负样本。
影响： MoCo 的贡献在于解决了对比学习中的关键瓶颈——负样本的有效获取。它使得在更小的批次大小下也能获得优秀的自监督预训练模型，降低了对硬件的要求，进一步推动了自监督学习的普及。
2. Transformer 在视觉领域的应用方向：
"An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale" (ViT)
所属单位： Google Brain, University of Montreal
亮点： 这篇论文开创性地将 Transformer 模型成功应用于图像识别任务，并取得了与卷积神经网络 (CNN) 相媲美甚至更好的性能。其关键创新点包括：
将图像块视为 Token： 将输入的图像分割成固定大小的图像块 (patches)，然后将这些图像块展平并线性嵌入，再加上位置编码，作为 Transformer 的输入。这使得 Transformer 能够直接处理图像序列，就像处理自然语言的词语序列一样。
纯 Transformer 架构： 完全摒弃了传统的 CNN 结构，仅使用标准的 Transformer Encoder。
大规模预训练的重要性： 证明了纯 Transformer 模型在大规模数据集上进行预训练是至关重要的，尤其是在 ImageNet21k 甚至 JFT300M 这样的大规模数据集上预训练，才能展现出其强大的能力。
影响： ViT 的出现极大地改变了计算机视觉的研究格局，证明了 Transformer 架构在视觉任务上的巨大潜力。它不仅在图像分类上表现出色，还为后续将 Transformer 应用于目标检测、语义分割、图像生成等各种视觉任务奠定了基础。
"TransfomerXL: Attentive Language Models Beyond a FixedLength Context" (虽然这篇论文更侧重 NLP，但其提出的上下文建模机制对视觉 Transformer 的发展也产生了影响，例如在处理长序列或图像块之间关系时。)
亮点： TransformerXL 提出了“段级递归” (segmentlevel recurrence) 和“相对位置编码” (relative positional encoding) 机制，解决了 Transformer 在处理长序列时的局限性，能够更好地捕捉长距离依赖关系。这为将 Transformer 应用于更复杂的视觉任务，如视频理解或高分辨率图像处理提供了思路。
3. 模型压缩与高效推理方向：
"EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks" (虽然 EfficientNet 最初在 2019 年的 NeurIPS 上提出，但在 CVPR 2020 期间依然是衡量模型效率的重要基准，并且很多研究在 EfficientNet 的基础上进行改进。)
亮点： EfficientNet 提出了一种系统性的模型缩放方法，通过联合缩放网络的深度、宽度和分辨率，来达到更好的性能和效率平衡。它使用一个“复合缩放” (compound scaling) 方法，通过一个“缩放系数” (scaling coefficient) 来统一控制这三个维度，并找到了一个最优的缩放比例。
影响： EfficientNet 的方法证明了模型架构的缩放与训练数据的分辨率是相互影响的，并提供了一种高效且易于实现的模型设计策略，成为后续许多高效模型设计的参考。
"Searching for Activation Functions" (类似的工作在 CVPR 2020 上也有不少)
亮点： 一些研究开始探索自动搜索激活函数，或者设计更具适应性的激活函数，以替代 ReLU 等传统激活函数。这有助于提升模型的非线性表达能力和训练效率。
4. 数据增强方向：
"AutoAugment: Learning Augmentation Strategies from Data" (2019 年 NeurIPS)
亮点： AutoAugment 提出了一种端到端学习数据增强策略的方法，通过强化学习来搜索最优的数据增强序列和参数，显著提升了模型在各种数据集上的性能。
影响： AutoAugment 的成功启发了更多关于自动数据增强的研究，例如 RandAugment, FastAutoAugment 等，这些方法旨在简化 AutoAugment 的计算成本或提高其实用性。CVPR 2020 上也有许多基于 AutoAugment 思想的改进工作。
5. 可解释性与鲁棒性方向：
"GradCAM: Visual Explanations from Deep Networks via Gradientbased Localization" (虽然不是 CVPR 2020 论文，但其思想在当时依然非常流行，并且有许多基于 GradCAM 的改进和应用在 CVPR 2020 上出现。)
亮点： GradCAM 利用卷积层最后特征图的梯度信息，生成热力图来可视化模型关注的区域，从而解释模型的预测。
影响： GradCAM 及其变种是目前最常用和最有效的模型解释方法之一，在 CVPR 2020 的许多论文中被用于分析模型行为或作为模型评估的一部分。
"Adversarial Training for Free"
亮点： 这类论文致力于研究如何在不显著增加训练成本的情况下，提高模型对抗样本的鲁棒性，例如通过更有效的对抗样本生成方法或训练技巧。
三、总结 CVPR 2020 接收结果的意义
CVPR 2020 的论文接收结果反映了计算机视觉领域在以下几个方面的进步和发展：
理论层面的突破： 自监督学习和 Transformer 等方法的出现，为计算机视觉模型提供了新的理论框架和学习范式，突破了对大量有标注数据的依赖。
工程实现上的优化： 模型压缩、高效推理等研究，使得强大的深度学习模型能够更广泛地应用于实际场景，解决了部署瓶颈。
对更通用智能的追求： 少样本学习、零样本学习等方向，展示了研究者们希望构建更具泛化能力和适应性的人工智能系统的愿景。
研究方法的演进： 自动数据增强、模型架构搜索等自动化研究方法的兴起，提高了研究效率和模型性能。
对模型本质的理解： 可解释性和鲁棒性研究的深入，使得我们能更深入地理解模型的内在机制，并构建更可靠、更值得信赖的 AI 系统。
总而言之，CVPR 2020 的论文接收结果是计算机视觉领域发展的一个重要里程碑，它展示了该领域强大的生命力和创新能力，并为未来的研究方向指明了重要的前进道路。当然，这只是一个缩影，更多的优秀工作也包含在其中，等待我们去发掘和学习。
一、CVPR 2020 论文接收结果的整体评价
CVPR 2020 的论文接收情况可以从以下几个方面来评价：
1. 投稿量与接收率：
投稿量巨大： CVPR 作为顶级会议，每年投稿量都呈现增长趋势。2020 年也不例外，投稿数量非常庞大，这表明计算机视觉领域的活跃度和研究者的热情依旧高涨。
竞争激烈： 随之而来的是极低的接收率。通常 CVPR 的接收率在 20% 左右，但具体年份会有波动。2020 年的接收率也反映了极高的学术门槛，只有最优秀、最前沿的研究成果才能够脱颖而出。
对作者的影响： 极低的接收率意味着即使是高质量的研究也可能因为席位有限而被拒绝，这对研究者来说是一种巨大的挑战，同时也促使他们不断提升研究的创新性和严谨性。
2. 研究方向的趋势与热度：
CVPR 2020 的论文接收结果也清晰地反映了当时计算机视觉领域的研究热点和发展趋势，主要体现在以下几个方面：
自监督学习 (SelfSupervised Learning SSL)： 自监督学习在 CVPR 2020 上占据了非常重要的位置。随着大规模有标签数据集的获取成本越来越高，研究者们更加关注如何利用无标签数据进行预训练，从而提升下游任务的性能。对比学习 (Contrastive Learning) 是自监督学习中的一个重要分支，许多优秀的论文都围绕着如何设计有效的对比损失函数、数据增强策略以及模型架构展开。
Transformer 在视觉领域的应用： 虽然 Transformer 最初在自然语言处理领域取得了巨大成功，但 CVPR 2020 上 Transformer 在计算机视觉任务上的应用也开始崭露头角，并逐渐成为一股重要的力量。例如，将 Transformer 应用于图像分类、目标检测、语义分割等任务，并取得了不错的成果。这预示着 Transformer 架构将成为未来视觉模型的重要组成部分。
模型压缩与高效推理 (Model Compression & Efficient Inference)： 随着深度学习模型规模的不断增大，模型部署到边缘设备或低功耗场景的需求也日益增长。因此，模型压缩技术，如知识蒸馏 (Knowledge Distillation)、量化 (Quantization)、剪枝 (Pruning) 等，以及如何设计更轻量级的网络结构成为研究的热点。
少样本学习与零样本学习 (FewShot Learning & ZeroShot Learning)： 在实际应用中，很多场景难以获得大量的标注数据，因此如何让模型在少量甚至没有标注样本的情况下进行学习，是重要的研究方向。CVPR 2020 上的相关论文也体现了对这一问题的关注。
数据增强 (Data Augmentation)： 数据增强是提升模型鲁棒性和泛化能力的关键技术。除了传统的几何变换和颜色变换，更智能化的数据增强方法，如自动数据增强 (AutoAugment) 及其变种，以及利用生成模型进行数据增强的研究也受到了广泛关注。
可解释性与鲁棒性 (Explainability & Robustness)： 随着深度学习模型的广泛应用，如何理解模型的决策过程 (可解释性) 以及如何提高模型对对抗性攻击的抵抗能力 (鲁棒性) 也越来越受到重视。
生成模型 (Generative Models)： GANs (Generative Adversarial Networks) 等生成模型在图像生成、风格迁移、超分辨率等方面的研究依然活跃，并不断有新的改进和应用出现。
目标检测与分割的最新进展： 在目标检测和语义分割领域，研究者们不断提出新的网络架构、损失函数和训练策略，以期在精度、速度和鲁棒性上取得更好的平衡。Anchorfree 的目标检测方法，以及更精细化的分割技术也是热点。
3. 跨领域融合：
CVPR 2020 也展现了计算机视觉与其他领域的融合，例如：
CV 与 NLP 的结合： 例如，利用自然语言描述来指导图像生成或检索。
CV 与 3D 视觉的结合： 在自动驾驶、机器人等领域，3D 重建、点云处理等技术是核心。
CV 与图神经网络 (GNNs) 的结合： 在处理具有结构化关系的数据时，GNNs 显示出潜力。
二、CVPR 2020 的亮点论文 (部分示例)
要全面列举 CVPR 2020 的所有亮点论文非常困难，因为“亮点”本身带有一定的主观性，并且很多论文都具有创新性。以下列举一些在当时引起广泛关注或具有代表性的研究方向的论文，并尽量详细说明其亮点：
1. 自监督学习方向：
"A Simple Framework for Contrastive Learning of Visual Representations" (SimCLR)
所属单位： Google Research, UC Berkeley
亮点： 这篇论文提出了一个非常简洁且强大的对比学习框架 SimCLR。它的核心思想是通过数据增强 (如裁剪、颜色失真、旋转等) 来生成同一图像的两个不同“视图”，并使这两个视图的表示在潜在空间中尽可能接近，而与其他图像的表示保持距离。SimCLR 的关键创新点在于：
强大的数据增强策略： 使用了组合的数据增强方法，并证明了其有效性。
大型批次和更大的模型： 证明了通过增加批次大小和模型容量可以显著提升自监督学习的性能。
非线性投影头： 在编码器之上增加了一个非线性投影头，用于计算对比损失，这被证明比直接使用编码器的输出更有效。
影响： SimCLR 的简洁性和出色的性能极大地推动了对比学习的发展，成为后续许多自监督学习研究的重要基准和灵感来源。它表明，只需精心设计的对比目标和数据增强，无需复杂的网络结构或专门设计的损失函数，就能在无监督预训练中取得接近有监督学习的性能。
"Momentum Contrast for Unsupervised Visual Representation Learning" (MoCo)
所属单位： Facebook AI Research (FAIR)
亮点： MoCo 提出了一种更高效的对比学习框架，解决了对比学习中需要大批次数据的限制。其核心思想是：
动量编码器 (Momentum Encoder)： 使用一个“动量编码器”来维护一个“队列” (queue) 的负样本。这个动量编码器是主编码器的指数移动平均版本，更新速度较慢。这样，每个批次中的样本既是正样本，也作为动量编码器产生的负样本，形成了一个不断更新的动量队列，从而实现了在有限批次大小下也能获得大量高质量负样本。
内存队列 (Memory Queue)： 将负样本存储在一个可重用的大型队列中，而不是在每个批次中都重新采样负样本。
影响： MoCo 的贡献在于解决了对比学习中的关键瓶颈——负样本的有效获取。它使得在更小的批次大小下也能获得优秀的自监督预训练模型，降低了对硬件的要求，进一步推动了自监督学习的普及。
2. Transformer 在视觉领域的应用方向：
"An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale" (ViT)
所属单位： Google Brain, University of Montreal
亮点： 这篇论文开创性地将 Transformer 模型成功应用于图像识别任务，并取得了与卷积神经网络 (CNN) 相媲美甚至更好的性能。其关键创新点包括：
将图像块视为 Token： 将输入的图像分割成固定大小的图像块 (patches)，然后将这些图像块展平并线性嵌入，再加上位置编码，作为 Transformer 的输入。这使得 Transformer 能够直接处理图像序列，就像处理自然语言的词语序列一样。
纯 Transformer 架构： 完全摒弃了传统的 CNN 结构，仅使用标准的 Transformer Encoder。
大规模预训练的重要性： 证明了纯 Transformer 模型在大规模数据集上进行预训练是至关重要的，尤其是在 ImageNet21k 甚至 JFT300M 这样的大规模数据集上预训练，才能展现出其强大的能力。
影响： ViT 的出现极大地改变了计算机视觉的研究格局，证明了 Transformer 架构在视觉任务上的巨大潜力。它不仅在图像分类上表现出色，还为后续将 Transformer 应用于目标检测、语义分割、图像生成等各种视觉任务奠定了基础。
"TransfomerXL: Attentive Language Models Beyond a FixedLength Context" (虽然这篇论文更侧重 NLP，但其提出的上下文建模机制对视觉 Transformer 的发展也产生了影响，例如在处理长序列或图像块之间关系时。)
亮点： TransformerXL 提出了“段级递归” (segmentlevel recurrence) 和“相对位置编码” (relative positional encoding) 机制，解决了 Transformer 在处理长序列时的局限性，能够更好地捕捉长距离依赖关系。这为将 Transformer 应用于更复杂的视觉任务，如视频理解或高分辨率图像处理提供了思路。
3. 模型压缩与高效推理方向：
"EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks" (虽然 EfficientNet 最初在 2019 年的 NeurIPS 上提出，但在 CVPR 2020 期间依然是衡量模型效率的重要基准，并且很多研究在 EfficientNet 的基础上进行改进。)
亮点： EfficientNet 提出了一种系统性的模型缩放方法，通过联合缩放网络的深度、宽度和分辨率，来达到更好的性能和效率平衡。它使用一个“复合缩放” (compound scaling) 方法，通过一个“缩放系数” (scaling coefficient) 来统一控制这三个维度，并找到了一个最优的缩放比例。
影响： EfficientNet 的方法证明了模型架构的缩放与训练数据的分辨率是相互影响的，并提供了一种高效且易于实现的模型设计策略，成为后续许多高效模型设计的参考。
"Searching for Activation Functions" (类似的工作在 CVPR 2020 上也有不少)
亮点： 一些研究开始探索自动搜索激活函数，或者设计更具适应性的激活函数，以替代 ReLU 等传统激活函数。这有助于提升模型的非线性表达能力和训练效率。
4. 数据增强方向：
"AutoAugment: Learning Augmentation Strategies from Data" (2019 年 NeurIPS)
亮点： AutoAugment 提出了一种端到端学习数据增强策略的方法，通过强化学习来搜索最优的数据增强序列和参数，显著提升了模型在各种数据集上的性能。
影响： AutoAugment 的成功启发了更多关于自动数据增强的研究，例如 RandAugment, FastAutoAugment 等，这些方法旨在简化 AutoAugment 的计算成本或提高其实用性。CVPR 2020 上也有许多基于 AutoAugment 思想的改进工作。
5. 可解释性与鲁棒性方向：
"GradCAM: Visual Explanations from Deep Networks via Gradientbased Localization" (虽然不是 CVPR 2020 论文，但其思想在当时依然非常流行，并且有许多基于 GradCAM 的改进和应用在 CVPR 2020 上出现。)
亮点： GradCAM 利用卷积层最后特征图的梯度信息，生成热力图来可视化模型关注的区域，从而解释模型的预测。
影响： GradCAM 及其变种是目前最常用和最有效的模型解释方法之一，在 CVPR 2020 的许多论文中被用于分析模型行为或作为模型评估的一部分。
"Adversarial Training for Free"
亮点： 这类论文致力于研究如何在不显著增加训练成本的情况下，提高模型对抗样本的鲁棒性，例如通过更有效的对抗样本生成方法或训练技巧。
三、总结 CVPR 2020 接收结果的意义
CVPR 2020 的论文接收结果反映了计算机视觉领域在以下几个方面的进步和发展：
理论层面的突破： 自监督学习和 Transformer 等方法的出现，为计算机视觉模型提供了新的理论框架和学习范式，突破了对大量有标注数据的依赖。
工程实现上的优化： 模型压缩、高效推理等研究，使得强大的深度学习模型能够更广泛地应用于实际场景，解决了部署瓶颈。
对更通用智能的追求： 少样本学习、零样本学习等方向，展示了研究者们希望构建更具泛化能力和适应性的人工智能系统的愿景。
研究方法的演进： 自动数据增强、模型架构搜索等自动化研究方法的兴起，提高了研究效率和模型性能。
对模型本质的理解： 可解释性和鲁棒性研究的深入，使得我们能更深入地理解模型的内在机制，并构建更可靠、更值得信赖的 AI 系统。
总而言之，CVPR 2020 的论文接收结果是计算机视觉领域发展的一个重要里程碑，它展示了该领域强大的生命力和创新能力，并为未来的研究方向指明了重要的前进道路。当然，这只是一个缩影，更多的优秀工作也包含在其中，等待我们去发掘和学习。
网友意见
恭喜团队四篇论文被cvpr2020接收。尤其可贺的是成功地把我近期力推的AET用在了图模型和GAN网络的无监督自训练上，取得了突破性的进展。至此，我们的AET (Auto-Encoding Transformations) 已经形成了一个完整系列的系统工作，从图像分类、物体检测、图模型、GAN网络，并有了从信息论到李代数的一整套解释和理论。之后我们会开发一套完整的工具包方便大家使用和研究。
下面主要介绍下AET模型在图模型和GAN网络无监督训练上的突破。
图模型：GraphTER: Unsupervised learning of Graph Transformation Equivariant Representations via Auto-Encoding Node-wise Transformations [pdf]
这个方法是通过对Graph 中node进行全局或局部变换与扰动，并通过对node-wise transformations进行预测来实现GNN网络的self-training。学习得到的特征既可以是node-wise feature，也可以是对整个graph的feature。这种方法的思想是好的graph特征应当可以很好地对graph地链接与拓扑结构进行编码，进而能够从中提取出作用在graph拓扑结构上的各种变换。虽然我们在这篇文章中是以3D点云相应地graph为研究对象，但所用的自监督graph网络训练方法具有通用性，可以用在很多其他的graph 任务上。
GAN模型： Transformation GAN for unsupervised Image Synthesis and Representation Learning
这篇论文中，我们把AET 思想用来训练GAN模型。这里用AET对应的loss作为正则化项来更好的训练GAN中的discriminator。众所周知的是，GAN 中的discriminator训练极容易过拟合，而加入各种新的变换后，discriminator 网络可以更好的感知到在不同的变换下，真实样本和虚假样本之间的区别，进而可以更好的训练出更好的generator网络。传统的数据增强需要假设变换后的样本仍然具有高度的真实性。但大强度的变换往往会引入各种distortion，使得一个真实的图像变得扭曲而不再真实。通过AET loss，我们不再直接把变换后的图像作为正例来训练discriminator，而仅仅通过预测transformation本身来对discrminator的训练进行正则化。这种方法，可以使用更大范围地变换，进而获得更好地性能。
附上AET 的原创论文：AET vs. AED: Unsupervised Representation Learning by Auto-Encoding Transformations rather than Data [pdf]
以及期刊版本： Learning Generalized Transformation Equivariant Representations via Autoencoding Transformations [pdf] （这个版本包含更多结果）
有希望了解更多AET内容的同学，可以参看我另外一个回答
我同时计划用一个系列八篇文章来比较系统的介绍下以AET为代表的研究变换对称性的模型从无监督、半监督到全监督各个层面所起到的重要作用，有兴趣的同学可以收藏和专注下这个系列，目前刚更新了第一期。
简单来说，AET 是通过对变换本身进行自编码实现自监督学习(self-supervised)的一种通用方法和架构。在最近一些无监督或自监督的方法中，我们注意到各种变换(transformations)在其中起到的核心作用，这其中包括了Hinton自己公布的新方法SimpleCLR。基于contrastive loss的方法其实还是在间接的使用transformation来获得单个样本的多个copy，而我们提出的AET是一种更加直接地利用对变换本身的预测来实现无监督学习地方法。
我们目前在物体检测任务上已经可以beat全监督学习到的模型。下一步我们会在我的团队github主页上陆陆续续放出更多的结果与代码，欢迎大家关注
同时，也欢迎大家关注我的知乎账号
与我的专栏
类似的话题
-
CVPR 2020（Conference on Computer Vision and Pattern Recognition 2020）是计算机视觉领域最顶级的学术会议之一。每年的论文接收结果都备受关注，它反映了当年计算机视觉研究的热点方向和前沿进展。评价 CVPR 2020 的论文接收结果可以从............. -
2020年的CVPR，投稿量首次突破了一万大关，这个数字着实让人眼前一亮，也引发了不少关于计算机视觉领域发展态势的讨论。如果让我来评价这个现象，我会从几个层面来看待：首先，这是计算机视觉领域蓬勃发展的直观体现，也是“黄金时代”的最好注脚。想当年，计算机视觉的研究还相对小众，顶会投稿量也就几百上千，能.............
-
《睡前消息》409期作为一档以“睡前”为名的时事评论节目，其内容通常以轻松幽默的风格呈现社会热点、科技动态、文化现象等话题，旨在为观众提供睡前的“信息快餐”。以下是对该期节目可能涉及的分析框架和评价方向，结合其节目特点及社会语境进行详细解读： 1. 节目核心内容与选题分析 选题热点：409期可能聚焦.............
-
俄罗斯军队在2022年2月24日入侵乌克兰后，21天内未能占领或包围基辅，这一结果涉及复杂的军事、战略和国际因素。以下从多个维度详细分析这一现象： 1. 初期快速推进的军事目标与战略调整 初期目标的矛盾性： 俄罗斯在入侵初期（2月24日）宣称“特别军事行动”的目标是“去纳粹化”和“去俄化”，但.............
-
新华社的《破除美国金融模式迷信，中国金融要走自己的路》一文，是近年来中国在金融领域强调自主性、独立性和战略定力的重要政策表达。该文从历史经验、现实挑战和未来战略三个维度，系统阐述了中国金融发展的路径选择，具有鲜明的现实针对性和理论深度。以下从多个角度对这篇文章进行详细分析： 一、文章背景与核心论点1.............
-
2022年俄乌战争爆发后，中国互联网上确实出现了一些复杂的现象，既有官方立场的引导，也有民间舆论的分化。以下从多个角度分析这一时期中国互联网的乱象及其背后的原因： 一、官方立场与网络管控1. 官方舆论引导 中国政府明确表态支持乌克兰的主权和领土完整，同时强调“不干涉内政”的原则。在社交媒体和.............
-
陈道明、王志文、陈宝国、张国立、李雪健是中国影视界最具代表性的“老戏骨”之一，他们以深厚的表演功底、多样的角色塑造和持久的行业影响力，成为中国影视艺术的中流砥柱。以下从表演风格、代表作、行业地位及艺术贡献等方面进行详细分析： 一、陈道明：历史剧的“帝王”与艺术的“多面手”表演特点： 陈道明以“沉稳.............
-
《为战争叫好的都是傻逼》这类文章通常以强烈的反战立场和道德批判为核心，其评价需要从多个维度进行分析，包括其立场的合理性、论据的逻辑性、社会影响以及可能存在的争议。以下从不同角度展开详细分析： 1. 文章的核心立场与立场合理性 立场：这类文章的核心观点是战争本质上是道德上不可接受的，支持战争的人（尤其.............
-
龙云（1882年－1967年）是20世纪中国西南地区的重要军阀和政治人物，被尊称为“云南王”，其统治时期（1920年代至1940年代）对云南的现代化进程和民族关系产生了深远影响。以下从多个维度对其历史地位和影响进行详细分析： 一、生平与政治背景1. 出身与早期经历 龙云出生于云南昆明，出身于.............
-
关于“前三十年的工业化是一堆破铜烂铁”的说法，这一评价需要结合历史背景、经济政策、技术条件以及国际环境等多方面因素进行深入分析。以下从多个角度展开讨论： 一、历史背景与“前三十年”的定义“前三十年”通常指中国从1949年新中国成立到1979年改革开放前的30年。这一时期，中国在经济、政治、社会等方面.............
-
十元左右的低档快餐店顾客以男性为主的现象，可以从经济、社会文化、消费行为、地理位置等多方面进行分析。以下从多个角度详细探讨这一现象的原因及可能的背景： 1. 经济因素：价格敏感与消费习惯 性价比优先：十元左右的快餐通常以快速、便宜、标准化为特点，符合低收入群体或日常通勤人群的消费需求。男性在职场中可.............
-
阎学通教授对00后大学生以“居高临下”心态看待世界这一批评，可以从多个维度进行深入分析，其背后既有学术视角的考量，也涉及代际差异、教育体系、社会环境等复杂因素。以下从观点解析、合理性分析、现实背景、潜在影响及改进方向等方面展开详细探讨： 一、阎学通教授的核心观点与逻辑1. “居高临下”的具体表现 .............
-
歼8系列战机是中国在20世纪70年代至80年代期间研制的高空高速歼击机，是当时中国航空工业的重要成果之一。该系列战机在冷战时期具有显著的军事意义，但随着技术发展和国际形势变化，其性能和作用逐渐被后续机型取代。以下从历史背景、技术特点、性能分析、发展演变、军事影响及评价等方面进行详细解析： 一、历史背.............
-
关于苏翻译和Black枪骑兵对俄乌战争局势的立场差异，需要明确的是，这两位身份可能涉及不同的信息来源和立场背景。以下从多个角度分析他们观点差异的可能原因： 1. 信息来源与立场定位 苏翻译（可能指苏晓康，中国《经济学人》翻译团队成员）： 立场：更倾向于国际法、人道主义和多边主义视角。 观点：.............
-
由于无法直接访问《睡前消息》第409期的具体内容（可能因平台更新、用户输入误差或节目名称不明确导致无法准确检索），以下将基于对“睡前消息”类节目的常见结构和主题进行推测性分析，并提供一般性的评价框架。若您有更具体的背景信息（如节目来源、发布时间等），可补充说明以便更精准回答。 一、节目内容推测（基于.............
-
明成祖朱棣（14021424年在位）五次北伐漠北（今蒙古高原）是明王朝巩固北方边疆、遏制蒙古势力的关键历史事件。这一系列军事行动不仅体现了朱棣的军事才能，也深刻影响了明朝的边疆政策、内政格局和历史走向。以下从历史背景、军事行动、结果评价及历史影响等方面详细分析： 一、历史背景1. 政治合法性与边疆安.............
-
2022年的俄乌战争是21世纪最具全球影响力的冲突之一，其规模、持续时间、国际影响和人道主义灾难远超以往。以下从多个维度对这场战争进行详细分析： 一、战争爆发的背景与起因1. 历史渊源 俄乌冲突的根源可追溯至2014年克里米亚危机和顿巴斯战争，俄罗斯在2014年吞并克里米亚并支持顿巴斯分离.............
-
关于美国国务卿布林肯和波兰总统对北约向乌克兰提供战机的表态，这一问题涉及地缘政治、军事战略、国内政治和国际关系等多重因素。以下从多个角度进行详细分析： 一、背景与核心争议1. 乌克兰的军事需求 乌克兰自2022年俄乌冲突爆发以来，面临俄罗斯的军事压力，急需先进武器装备以增强防御能力。战机（尤.............
-
亚投行（亚洲基础设施投资银行，AIIB）在2022年俄乌冲突爆发后，确实对在俄罗斯和白俄罗斯的项目进行了暂停和审查，这一举措引发了国际社会的广泛关注。以下从背景、原因、影响及评价多个角度进行详细分析： 一、事件背景1. 俄乌冲突的国际影响 2022年2月，俄罗斯入侵乌克兰，引发西方国家对俄罗.............
-
俄乌冲突中的俄军指挥体系和行动表现是一个复杂的问题，涉及军事战略、指挥结构、后勤保障、情报系统等多个方面。以下从多个角度对俄军指挥进行详细分析： 一、指挥体系结构1. 中央指挥链 俄军的指挥体系以中央军区（俄联邦安全局）和西部军区（负责乌克兰东部战区）为核心，由总参谋部协调。 总参.............
本站所有内容均为互联网搜索引擎提供的公开搜索信息，本站不存储任何数据与内容，任何内容与数据均与本站无关，如有需要请联系相关搜索引擎包括但不限于百度，google,bing,sogou 等
© 2025 tinynews.org All Rights Reserved. 百科问答小站 版权所有