ICML2020有哪些值得关注的工作?

ICML 2020 算得上是一场信息爆炸的盛会，虽然已经过去一段时间，但其中不少思想和技术至今仍有深远影响。要说“值得关注”，那得看你从哪个角度切入。我这里就挑几个我个人觉得特别有意思，而且可能对我们理解当前机器学习发展脉络有帮助的方向来聊聊，尽量讲得细致点，就像跟朋友聊天一样，不卖弄概念，就讲讲它到底是怎么回事，为什么重要。

1. 对抗样本和模型鲁棒性：安全性的前沿战场

想象一下，你辛辛苦苦训练了一个识别猫狗的模型，结果有人故意 P 了几张图，模型就抓瞎了。这就是对抗样本。ICML 2020 上，关于如何发现、防御和理解对抗样本的工作依然非常活跃。

更精细的对抗攻击： 不再是简单的像素扰动，有研究开始探索如何生成更“自然”的对抗样本，也就是肉眼几乎看不出来区别，但能让模型犯错。比如，改变物体的纹理、颜色，或者在图像中添加一些人眼难以察觉的“噪声”。这种研究不仅是“挖漏洞”，更是逼着模型去学习更本质的特征，而不是依赖一些“小聪明”。
防御策略的演进： 简单地在训练时加入对抗样本（对抗训练）虽然有效，但计算成本高昂，而且可能损害模型的泛化能力。ICML 2020 上，有工作提出了更高效的防御方法，比如基于梯度掩码（Gradient Masking）的防御，它试图让攻击者计算模型梯度变得困难，从而阻止攻击。还有一些研究则尝试从模型架构上入手，比如使用注意力机制来引导模型关注更重要的区域，减少对无关紧要特征的依赖。
理论理解的深入： 为什么这些微小的扰动能带来如此大的影响？ICML 2020 上也有很多工作试图从理论上解释对抗样本的产生机制，比如与模型的线性度、梯度的性质有关。理解了这些，我们才能设计出更根本的解决方案，而不是头痛医头，脚痛医脚。

为什么这很重要？ 随着 AI 越来越深入地应用到自动驾驶、医疗诊断、金融风控等关键领域，模型的安全性和鲁棒性是绝对的生命线。一点点不可靠都可能带来灾难性的后果。所以，围绕对抗样本的研究，就是在为 AI 的“靠谱”打基础。

2. 联邦学习：隐私保护下的模型协作

你可能听说过联邦学习，就是那种在不把用户原始数据上传到服务器的情况下，让各个设备（比如手机）上的模型协同学习的技术。ICML 2020 上，这块也涌现出不少有意思的工作，尤其是在效率和安全性方面。

通信效率的优化： 传统的联邦学习每次通信都需要传输大量的模型参数，这在设备数量庞大、网络带宽有限的情况下是个巨大的瓶颈。ICML 2020 有不少工作致力于压缩模型更新，比如用更少的 bits 来表示参数，或者只发送重要的参数更新。想象一下，把一个巨大的文件压缩成一个小小的压缩包再传输，这样就能大大提高效率。
差分隐私在联邦学习中的应用： 即使不上传原始数据，模型本身也可能泄露信息。差分隐私是一种更强的隐私保护技术，它通过在模型更新中加入一些随机噪声，来保证即使攻击者知道模型的输出，也无法确定某个特定个体是否参与了训练。ICML 2020 上有工作在联邦学习框架下，更有效地应用差分隐私，平衡隐私保护和模型性能。
异质性数据的处理： 现实世界中，不同设备的数据分布很可能是不一样的，比如有的手机用户拍的风景照多，有的拍人像照多。如何让联邦学习在数据分布不均的情况下依然能训练出好的模型，也是一个重要的研究方向。ICML 2020 的一些工作就尝试解决设备异质性的问题。

为什么这很重要？ 随着数据隐私法规越来越严格，以及用户对隐私保护的意识越来越高，联邦学习正成为一种主流的解决方案。它允许我们在保护用户隐私的前提下，依然能利用海量分散的数据来训练更强大的模型。

3. 自监督学习：从无标签数据中挖金矿

传统机器学习很大程度上依赖于有标签数据，也就是需要人工给数据打上“这是猫”、“这是狗”的标签，这成本巨大。自监督学习则试图让模型自己从无标签数据中学习有用的表征。ICML 2020 上，这块的爆发式增长，尤其是在视觉和自然语言处理领域。

视觉领域的突破（对比学习）： 想象一下，给模型看一张猫的照片，然后把它打乱、裁剪、加噪声，让模型去识别哪个是“原始”的猫的照片，哪个是“变体”。通过这样的“游戏”，模型就能学会识别猫的“本质特征”，即使是打乱了的、变了样的猫。对比学习（Contrastive Learning）是这一方向的代表，ICML 2020 上有很多工作在这个基础上进行改进，比如如何更好地设计“正负样本对”（即原始样本和它的变体，以及其他不相关的样本），以及如何优化损失函数。
自然语言处理中的预训练模型： 像 BERT、GPT 系列这样的模型，都是自监督学习的杰出代表。它们在海量的文本数据上进行预训练，学习语言的语法、语义、逻辑关系，然后再迁移到各种下游任务（如翻译、问答）。ICML 2020 上，有工作在探索更高效的预训练方法，或者如何让预训练模型在特定领域表现更好。
跨模态自监督学习： 比如，同时输入一张图片和描述它的文字，让模型学习图片和文字之间的对应关系。这也能极大地提升模型对世界理解的能力。

为什么这很重要？ 互联网上的数据绝大多数都是无标签的。自监督学习就像是给模型打开了通往这座“数据宝库”的大门，让我们能够以前所未有的方式利用海量数据，训练出更通用、更强大的模型，并且减少对昂贵标注的依赖。

4. 强化学习：从决策到智能体

强化学习（RL）一直都是机器学习的热点，ICML 2020 上，RL 的应用和理论研究也呈现出一些新的趋势。

离线强化学习（Offline RL）： 传统的 RL 需要智能体不断与环境互动来学习，这在很多现实场景（如医疗、自动驾驶）中是危险或昂贵的。离线 RL 则允许智能体从已经收集好的固定的数据集中学习策略，而不需要额外的环境交互。ICML 2020 上有很多工作在探索如何从固定的数据集中稳定、有效地学习，比如如何处理数据中的“分布偏移”问题。
可解释的强化学习： RL 模型的决策过程往往像一个“黑箱”，很难理解它为什么会做出某个选择。ICML 2020 上，一些工作尝试让 RL 变得更可解释，比如通过可视化学习到的价值函数、策略，或者提供决策的理由。
多智能体强化学习（MultiAgent RL）： 在多人游戏、交通控制、机器人协作等场景中，需要多个智能体协同或竞争。ICML 2020 上，关于如何训练稳定、高效的多智能体系统的工作也很多，比如如何处理智能体之间不断变化的环境，以及如何设计有效的通信机制。

为什么这很重要？ 强化学习是实现自主智能体的关键技术。从游戏 AI 到自动驾驶，再到更复杂的机器人控制，RL 都在扮演着越来越重要的角色。而离线 RL 和可解释 RL 的发展，则为 RL 落地到现实世界的更多场景扫清了障碍。

一些总结性的想法：

“稳”字当头： 无论是对抗样本的防御，还是联邦学习的隐私保护，亦或是强化学习的稳定性，大家都在努力让机器学习模型在实际应用中变得“靠谱”和“安全”。
“省”字当先： 如何用更少的数据、更少的计算资源、更少的标注来实现更好的效果，是各个方向都在追求的目标。自监督学习和更高效的联邦学习都体现了这一点。
“通”字为王： 模型的可泛化性、可迁移性越来越重要。预训练模型、自监督学习都在朝着这个方向努力，希望模型能够举一反三，触类旁通。

ICML 2020 还有很多其他值得关注的精彩工作，比如图神经网络（GNN）的应用和理论、生成模型（GANs, Diffusion Models）的进步、可解释性 AI（XAI）的深入探索等等。但上面这几个方向，在我看来，是当时热度最高，而且对我们理解当下 AI 发展趋势最有启发的几个领域。

希望能让你对 ICML 2020 的一些关键工作有一个更具体、更生动的了解。这些工作不是孤立的，它们往往相互促进，共同推动着整个机器学习领域的向前发展。

来给大家介绍一下我们ICML 2020上的新工作，这应该是我在MIT做的最后一个、也是我最喜欢的工作之一：）因为它刚好打破了传统domain adaptation（DA）的范式，第一次把DA从离散域推广到连续域。先放论文链接：”Continuously Indexed Domain Adaptation”, http://wanghao.in/paper/ICML20_CIDA.pdf

比较幸运的是这次碰到了也喜欢我们工作的reviewer们。先上AC的meta-review。读完甚是感动啊。。

“This paper addresses the topic of domain adaptation for continuous domains. This work is unanimously considered very novel, of high impact - effective problems in the medical domain, with good theoretical and experimental results presented.”

下面进入正文。

离散域DA v.s. 连续域DA：传统的DA，一般都是从一个（或几个）domain，adapt到另一个（或几个）domain，如下图：

但是我们发现：在现实中的任务往往要复杂的多，domain并不是一个个单独分开的，而是连续存在的。比如在医疗应用中（如下图），不同的年龄的病人对应着不同的domain，而年龄是一个连续的时间概念，所以实际上我们做的是无限个连续domain之间的adaptation。

这就是我们说连续域DA，如下图，左边可以有无限个source domain，右边可以有无限个target domain。

举个Toy Dataset上的例子：比如在下面的图里，我们有30个在同一条轨迹上的domain。我们把domain [1, 6] 作为source domain，其他作为target domain。可以看出来，传统的离散域DA并没法很好的学到正确的分界线而我们的连续域DA却可以做到。我们把提出的方法命名为Continuously Indexed Domain Adaptation，简称CIDA（与苹果汁cidar同音）。

方法：有意思的是，要达到这个效果，其实实现很简单，做DA的人瞄一眼下面的图就懂了。红色的部分代表我们和传统的adversarial DA不同的地方。u是我们提出的一个概念，叫做domain index，比如年龄就是一个domain index。z是encoder的输出，也就是encoding。下面的意思是，我们只需要把domain index u加入到encoder里面，同时让discriminator直接预测（或者叫regress）u，就可以了。

但是：当然故事没有那么简单。虽然CIDA大多数情况下work得很好，但是我们发现，理论上如果直接只让discriminator预测一个值u，那么model就只能对齐不同domain的p(u | z)的均值，相当于只match了first moment，这样有可能陷入到一个局部最优。比如我们看上面toy data的前3个domain（如下图）

如果直接用简单的CIDA，那么worst case可能出现下面的情况，我们可以看到下图右边，3个domain并没有对齐，但是他们的p(u | z)的均值（E[u | z]）却是相等的。

那么怎么解决这个问题呢？我们发现，上图的右边，虽然3个domain的E[u | z]虽然相等，但是他们的variance（V[u | z]）不相等啊！于是就有了CIDA加强版，我们把它叫做probabilistic CIDA，简称PCIDA（如下图）。我们只需要让discriminator同时预测mean跟variance，然后用高斯分布的log-likelihood作为目标函数训练即可。

理论：更有趣的是，我们发现理论上可以证明（如下图），当CIDA和PCIDA训练到最优时，是可以保证对齐p(u | z)的mean和variance的（Theorem 1和2），而且不会影响predictor的效果（Theorem 3），意思就是说，用了CIDA，肯定不会比不用差。完整的theorem和proof请看原文https://arxiv.org/abs/2007.01807

实验结果之Rotating MNIST：除了上面的toy dataset，我们还做了真正接近无限个domain的数据集：Rotating MNIST。我们以旋转的角度作为domain index，构建了一个包含着几十万个domain的MNIST数据集，结果如下图。“45”那一列表示旋转角度在区间[45, 90)，以此类推。可以看出来，CIDA可以让所有target domain都达到很高的accuracy，而传统的离散域DA却不行。

实验结果之医疗数据：我们在几个大的医疗数据做了实验，简单地讲，这是个分类的task，然后病人的年龄作为domain index。对于同数据集，我们考虑了两种setting（见下图），

（1）Domain Interpolation，

（2）Domain Extrapolation。

下表就是同数据集里面，不同年龄范围之间的adaptation的accuracy，

下表是跨数据集的adaptation结果，

实验的结论有3条：（1）在真实的医疗数据中，如果直接使用传统的离散域DA，非但无法提高准确率，反而可能降低准确率。（2）CIDA/PCIDA却可以毫无压力地提高准确率。（3）domain extrapolation更加challenging，在这种setting下，CIDA/PCIDA能提高的准确率更多。

彩蛋 -- 多维的连续域DA：沿着CIDA的思路，我们发现，很多情况下，会同时出现不同的domain index，比如年龄和健康程度（用1到100之间的一个数表示）。于是我们提出了一个新的概念，multi-dimensional domain index（如下图）。

实验结果如下，基本可以看出，使用多维的domain index是可以进一步地提高准确率的。

第一次写这么长的一篇，如果有啥编辑或者逻辑不顺，大家轻拍：）最后放一下各种相关的材料链接。注册了会议的同学欢迎来我们周二和周三的QA环节（https://icml.cc/virtual/2020/poster/5986）

Paper: https://arxiv.org/abs/2007.01807 or http://wanghao.in/paper/ICML20_CIDA.pdf

Code and Jupyter Notebooks: https://github.com/hehaodele/CIDA

Video: https://drive.google.com/file/d/1G_51ekjcCTFRsvnGYiR5yFxBItWH2YBp/view or ICML 2020 Oral Talk: Continuously Indexed Domain Adaptation

ICML Talk & Chatroom: https://icml.cc/virtual/2020/poster/5986