ICLR 2019 有什么值得关注的亮点？

ICLR 2019（International Conference on Learning Representations）是机器学习领域最顶级的会议之一，以其对表征学习（Representation Learning）和深度学习（Deep Learning）的关注而闻名。这次会议在2019年5月于美国新奥尔良举行，汇聚了全球顶尖的研究人员，展示了许多突破性的成果。以下是一些 ICLR 2019 中值得关注的亮点，我会尽量详细地讲述：

1. Transformer 架构的进一步巩固与发展

Transformer 模型在自然语言处理（NLP）领域取得了巨大的成功后，在 ICLR 2019 上继续展现出其强大的生命力，并开始渗透到其他领域。

位置编码（Positional Encoding）的改进与替代: 虽然原版的 Transformer 使用了固定的一维正弦和余弦位置编码，但 ICLR 2019 上出现了一些研究探讨更灵活、更有效的表示方式。例如，一些工作提出使用可学习的位置嵌入（Learned Positional Embeddings），允许模型自主学习最适合任务的位置信息。另外，相对位置编码（Relative Positional Encoding）也受到关注，它关注的是词语之间的相对距离，而不是绝对位置，这在处理长序列时可能更有优势。
Transformer 在非 NLP 领域的应用探索: 除了 NLP，Transformer 的强大并行处理能力和对序列数据的建模能力使其开始被应用于计算机视觉（CV）等领域。例如，一些研究开始尝试将 Transformer 应用于图像识别、目标检测等任务，虽然当时还不像后来（如 ViT 出来后）那样普及，但已经展现了潜力。

2. 自监督学习（SelfSupervised Learning, SSL）的崛起与多样化

自监督学习是 ICLR 2019 的一个核心主题，它旨在利用大量的无标签数据来预训练模型，然后将预训练好的模型应用于各种下游任务。这一趋势极大地缓解了对大量标注数据的依赖。

对比学习（Contrastive Learning）的进展:
SimCLR（A Simple Framework for Contrastive Learning of Visual Representations）: 虽然 SimCLR 的正式发表在后续的 NeurIPS 2020，但其核心思想在 ICLR 2019 期间就已经在社区中传播和讨论。它通过构建大量的正负样本对，利用对比损失（Contrastive Loss）来学习图像的判别性表示。核心思想是：相似的图像（通过数据增强得到）应该有相似的表示，而不相似的图像应该有不同的表示。
Momentum Contrast for Unsupervised Visual Representation Learning (MoCo): MoCo 是 ICLR 2020 的一个重要工作，但其思想也与 ICLR 2019 的讨论紧密相关。MoCo 提出了一种动量对比的方法，通过维护一个动量编码器和一个队列来提供大量负样本，从而在不显著增加计算成本的情况下，提升了对比学习的效果。
生成式自监督学习: 除了对比学习，利用生成模型进行自监督学习也受到关注。例如，一些工作通过让模型预测图像的缺失部分（如 Inpainting）或对图像进行颜色化（Colorization）来学习图像的表示。
预训练模型的通用性: 自监督学习的一个重要目标是学习通用性强的表征，这些表征可以迁移到各种下游任务，如分类、检测、分割等。ICLR 2019 的研究表明，通过有效的自监督学习方法预训练的模型，在许多任务上可以达到甚至超越监督学习的效果。

3. 图神经网络（Graph Neural Networks, GNNs）的快速发展与泛化

图神经网络在 ICLR 2019 上继续保持强劲的发展势头，其应用范围不断拓展，并且研究人员开始关注如何提高 GNN 的泛化能力和效率。

GNN 的表达能力与局限性:
WeisfeilerLehman Neural Test: 这个工作（虽然也不是在 ICLR 2019 上的首次提出，但其影响力在当时继续发酵）揭示了许多 GNNs 在区分某些图结构上的局限性，与图同构测试的难度相关。这促使研究人员去设计更具表达力的 GNN 模型。
位置编码在 GNN 中的应用: 为了解决节点在图中缺乏位置信息的问题，研究人员开始探索将位置编码的思想融入 GNN，以便更好地捕捉节点在图中的绝对或相对位置信息。
GNN 的高效化与可扩展性: 随着图数据的规模越来越大，如何让 GNN 更高效地运行成为一个挑战。ICLR 2019 上出现了一些关于邻域采样（Neighbor Sampling）、图聚合（Graph Aggregation）等方面的研究，旨在降低计算复杂度，使其能够处理更大规模的图。
GNN 的跨领域应用: 除了传统的社交网络、推荐系统等，GNNs 的应用开始扩展到分子结构预测、物理模拟、交通网络分析等更广泛的领域。

4. 强化学习（Reinforcement Learning, RL）的理论与实践探索

强化学习在 ICLR 2019 上依然是热门话题，研究人员在理论基础、算法创新以及实际应用方面都有所突破。

离线强化学习（Offline RL）/批强化学习（Batch RL）:
保守策略优化（Conservative Policy Iteration）和基于数据的策略优化（OffPolicy Policy Evaluation）: 这些工作关注的是如何在不与环境进行交互的情况下，利用已有的固定数据集来学习最优策略。这在实际应用中非常重要，因为与真实环境进行交互可能成本高昂或有风险。ICLR 2019 上涌现了许多相关的理论和算法，旨在解决数据分布偏移（Distribution Shift）的问题。
多智能体强化学习（MultiAgent RL, MARL）:
合作与竞争的博弈论视角: MARL 的研究继续深入，探讨多个智能体之间如何协同合作或进行竞争。研究人员利用博弈论的工具来分析和设计 MARL 算法，以达到稳定和高效的训练。
具有可解释性的强化学习: 随着 RL 在关键领域的应用，对其决策过程的可解释性需求也日益增长。ICLR 2019 上有一些初步的研究开始探索如何让 RL 智能体做出更透明、更容易理解的决策。
与其他领域的结合: 强化学习与其他机器学习技术的结合也受到关注，例如将强化学习与图神经网络结合来处理复杂的序列决策问题。

5. 对抗性攻击与防御的持续研究

对抗性攻击和防御一直是深度学习领域的一个重要议题，ICLR 2019 继续深入探讨这一问题。

更强的对抗性攻击方法: 研究人员不断提出更具破坏力、更难防御的对抗性攻击算法，例如利用更复杂的梯度信息或攻击模型内部的表示。
更鲁棒的防御策略: 针对这些攻击，研究人员也提出了各种防御策略，包括对抗性训练（Adversarial Training）的改进、基于检测的防御方法、以及模型鲁棒性分析等。
理解对抗性漏洞的根源: 一些研究试图深入理解对抗性攻击为何有效，以及模型的哪些特性使其容易受到攻击，以便从根本上提高模型的鲁棒性。

6. 模型压缩与高效推理（Model Compression and Efficient Inference）

随着深度学习模型越来越庞大，如何在保持性能的同时降低模型的计算成本、存储需求和推理延迟成为关键问题。

量化（Quantization）和剪枝（Pruning）技术的进步: 量化是将模型参数从浮点数转换为低精度整数，剪枝则是移除模型中不重要的连接或神经元。ICLR 2019 上有很多关于如何更有效地进行量化和剪枝，以最小化性能损失的研究。
知识蒸馏（Knowledge Distillation）的优化: 将一个大型、高性能的“教师”模型（Teacher Model）的知识迁移到一个小型、高效的“学生”模型（Student Model）的技术。研究人员在如何设计更好的蒸馏损失函数和蒸馏策略方面进行了探索。
模型结构搜索（Neural Architecture Search, NAS）与高效模型设计: NAS 旨在自动搜索最优的模型结构，许多研究开始关注如何设计更高效的 NAS 算法，或者直接设计高效的网络结构（如 MobileNet 系列等早期工作的延续）。

7. 可解释性（Explainability）与可信赖的 AI（Trustworthy AI）

对深度学习模型“黑箱”性质的担忧，使得可解释性研究在 ICLR 2019 上备受关注。

特征可视化与归因方法: 继续发展和改进能够可视化模型内部表示或解释模型决策依据的技术，例如 LIME、SHAP 等方法的变种和应用。
因果推断（Causal Inference）与深度学习的结合: 探讨如何将因果推断的原理应用到深度学习中，以理解模型的因果关系，而不仅仅是相关性。
公平性（Fairness）与隐私（Privacy）保护: 随着 AI 应用的普及，确保 AI 系统的公平性和保护用户隐私也成为重要的研究方向，ICLR 2019 上也开始有更多关于这些主题的讨论和研究。

总结

ICLR 2019 是一次非常重要的会议，它标志着：

Transformer 的影响力开始超越 NLP 领域。
自监督学习成为模型预训练的主流方向，为解决数据标注瓶颈提供了有力支持。
图神经网络在表达能力、效率和应用范围上都取得了显著进展。
强化学习在离线学习、多智能体系统等方面有重要理论和算法突破。
模型的可解释性、鲁棒性和高效性成为推动深度学习落地应用的关键因素。

总的来说，ICLR 2019 展示了深度学习领域在不断探索更强大的模型、更有效的训练方法、以及更广泛的应用场景，并开始关注 AI 的可持续发展和伦理问题。许多在 ICLR 2019 上提出的思想和方法，对后续几年深度学习的研究和发展产生了深远的影响。

有意思的工作挺多，留着慢慢看。初略一扫倒是觉得这些论文的标题真是八仙过海。看来在这个论文投稿爆炸的年代，论文的标题跟颜值一样，是首先吸引人的东西，大家一起来学习学习。

问句开头式：

• Are adversarial examples inevitable?
• Transfer Value or Policy? A Value-centric Framework Towards Transferrable Continuous Reinforcement Learning
• How Important is a Neuron?
• How Powerful are Graph Neural Networks?
• Do Language Models Have Common Sense?
• Is Wasserstein all you need?

哲理警句式：

• Learning From the Experience of Others: Approximate Empirical Bayes in Neural Networks
• In Your Pace: Learning the Right Example at the Right Time
• Learning what you can do before doing anything
• Like What You Like: Knowledge Distill via Neuron Selectivity Transfer
• Don’s Settle for Average, Go for the Max: Fuzzy Sets and Max-Pooled Word Vectors

抖机灵式：

• Look Ma, No GANs! Image Transformation with ModifAE
• No Pressure! Addressing Problem of Local Minima in Manifold Learning
• Backplay: 'Man muss immer umkehren'
• Talk The Walk: Navigating Grids in New York City through Grounded Dialogue
• Fatty and Skinny: A Joint Training Method of Watermark
• A bird's eye view on coherence, and a worm's eye view on cohesion
• Beyond Winning and Losing: Modeling Human Motivations and Behaviors with Vector-valued Inverse Reinforcement Learning

一句总结式：

• ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness.

标题最吸引我的两篇：

• Understanding & Generalizing AlphaGo Zero
• A Solution to China Competitive Poker Using Deep Learning （斗地主深度学习算法）

最后，Jun-Yan大神也带我投了一篇蛮有意思的论文，就不剧透了。Josh Tenenbaum对论文评价的原话是：this is an excellent and inspiring paper. 感兴趣的同学可以猜猜，猜中有奖。

感觉这篇large scale GAN真的非常牛逼, 具体还没细看, 就放几张图你们感受一下...

不敢相信这张图是generated 出来的...

再看看interpolation的结果

个人比较喜欢的是他们真的在非常large scale上train这个model："The dataset contains 292M images labeled with 8.5K categories, which is two orders of magnitude larger than ImageNet"

architecture上是比较 "wide" 的resnet + non-local