Partial Multi-Label Learning是什么？它的发展史又是怎样的？最新的进展如何？

探索偏多标签学习（Partial MultiLabel Learning）的奥秘：从概念到前沿

你是否曾遇到过这样的情况：一个物体，比如一张图片，它不仅仅属于一个类别，可能同时拥有多个标签，但你只能确定其中一部分是准确的，剩下的则是不确定的，甚至可能是错误的。这就是我们今天要深入探讨的偏多标签学习（Partial MultiLabel Learning, PML）所面临的核心挑战。

在传统的多标签学习（MultiLabel Learning, MLL）中，我们假设每个样本都对应着一个准确的标签集合。然而，现实世界的标注往往不那么完美。收集大量准确的多标签数据成本高昂，而且人工标注者在面对复杂情况时，也难免会漏掉一些标签，或者误将一些不属于的标签也附加上去。PML 正是为了解决这种不完整、不准确的标签信息而诞生的。

PML 的概念：在不确定性中寻找真相

简单来说，偏多标签学习关注的是一种特殊的训练样本，其中我们只知道一部分真实的标签，而另一部分可能是缺失的（漏标）或者错误的（错标）。

为了更清晰地理解，我们可以将 PML 中的样本标签与传统 MLL 和其他相关学习任务做个对比：

多标签学习 (MultiLabel Learning, MLL)：样本的标签集是完整且准确的。例如，一张照片可能同时被标记为“狗”、“户外”、“草地”。
二分类学习 (Binary Classification)：每个样本只有一个可能属于的类别，或者不属于。
单标签学习 (SingleLabel Learning)：每个样本只属于一个类别。
偏多标签学习 (Partial MultiLabel Learning, PML)：样本的标签信息存在不确定性。最经典的形式是，我们知道一个样本至少属于某些标签，但同时可能还存在其他未被标注的真实标签。

举个例子，假设我们有一张猫的图片。在 PML 的场景下，标注者可能只给它打上了“猫”的标签，但实际上这张图片也可能是在“室内”拍摄的，并且猫还可能处于“玩耍”的状态。PML 的任务就是，在只知道“猫”是真实标签的情况下，推断出“室内”和“玩耍”这两个潜在的真实标签，同时避免将不相关的标签（比如“狗”）误判为真实标签。

PML 的发展史：从理论到实践的演进

PML 的研究可以追溯到多标签学习早期对标注噪声和不完整信息的关注。虽然没有一个明确的“诞生时刻”，但其核心思想逐渐在机器学习领域渗透，并逐渐形成独立的子领域。

早期探索与多标签学习的延伸 (2000s 2010s)：
在早期，研究者们更多地关注于如何处理带有噪声的标签，这包括了不精确标签学习 (Inexact Label Learning)，其中一个样本可能被标记为多个类别，但其中一些可能是“接近”的，而不是严格的精确标签。
同时，不完整标签学习 (Incomplete Label Learning) 也被提出，关注的是样本的标签集合可能不完整，存在漏标的情况。PML 的核心就包含了这种不完整性。
一些早期的多标签学习算法，如基于支持向量机 (SVM) 的方法，也尝试通过正则化或概率建模来缓解部分不确定性。例如，通过学习一个分数来表示样本属于某个类别的可能性，从而间接处理了不确定性。

PML 的概念明确与初步方法 (2010s 2015s)：
随着深度学习的兴起，对更复杂、更贴近现实世界数据的需求也越来越迫切。PML 的概念在这个时期得到了更明确的定义和梳理。
研究者们开始设计专门针对 PML 的算法。一种常见的思路是将 PML 问题转化为多个二分类问题，对每个潜在的标签，都构建一个模型来预测样本是否属于该标签。然而，这种方法忽略了标签之间的潜在关系。
另一种重要的思路是利用“正标签”的信息来推断“未标注”的真实标签。例如，如果一个样本被确认为属于标签 A，并且我们知道标签 A 和标签 B 常常同时出现，那么我们可以倾向于预测该样本也属于标签 B。这涉及到标签关系学习 (Label Relation Learning)。

基于深度学习的 PML 方法兴起 (2015s 2020s)：
深度学习模型（如卷积神经网络 CNN、循环神经网络 RNN、图神经网络 GNN）在特征提取和建模复杂关系方面展现出强大的能力，这为 PML 的发展注入了新的活力。
基于注意力机制 (Attention Mechanism) 的方法被广泛应用。通过学习不同标签之间的注意力权重，模型可以更好地识别出哪些标签可能与已知的正标签相关联。
图神经网络 (GNN) 在建模标签之间的结构化关系方面表现出色。将标签构建成图，利用 GNN 传播标签信息，可以有效地推断潜在的真实标签。
生成模型也被尝试用于 PML。例如，通过学习样本的潜在表示，然后生成可能存在的标签集合。
联合学习 (Joint Learning) 的思想也逐渐流行，即将特征学习、标签不确定性建模以及潜在标签的推断结合起来进行联合优化。

当前研究热点与前沿 (2020s 至今)：
解决更复杂的漏标和错标情况：现实中的标注不确定性可能更为复杂，例如，可能存在多个漏标，甚至某些已标注的标签本身就是错误的。如何在这种更“脏”的数据上鲁棒地学习，是当前的重要挑战。
标签间的复杂依赖关系建模：标签之间往往存在非线性、高阶的依赖关系。如何捕捉这些复杂的依赖，并利用它们来辅助推断，是研究的重点。
可解释性 PML：模型能够给出预测结果，并解释其推理过程，对于实际应用至关重要。如何设计可解释的 PML 模型，让用户理解为什么某个标签被推断出来，是一个活跃的研究方向。
大规模 PML 场景下的效率优化：随着数据规模的不断增大，如何设计高效的 PML 算法，使其能够处理大规模数据集，是实际应用的关键。
与其他学习范式的结合：例如，将 PML 与主动学习 (Active Learning) 结合，让模型主动选择不确定的样本进行更精确的标注，从而提升学习效率。或者与少样本学习 (FewShot Learning) 结合，在只有少量标注数据的情况下学习 PML 模型。

PML 的最新进展：突破与趋势

近年来，PML 的研究在以下几个方面取得了显著进展：

1. 基于图结构的标签关系建模的深化：
层次化图结构：认识到标签之间不仅存在一对一或一对多的关系，还可能存在更复杂的层次结构（例如，“动物”>“哺乳动物”>“狗”）。研究者开始构建更精细的层次化图来表示这些关系，并利用 GNN 进行信息传播。
动态图学习：标签之间的关系可能不是静态的，而是会随着数据分布的变化而变化。一些方法尝试学习动态的图结构，以适应数据中的变化。
知识图谱的融合：利用外部知识图谱（如 WordNet、ConceptNet）来增强对标签之间关系的理解，从而更准确地推断潜在标签。

2. 更鲁棒的漏标和错标处理机制：
区分漏标与错标：一些高级方法尝试显式地建模漏标和错标的生成过程，并根据它们对模型训练的影响采取不同的策略。例如，可能对漏标更容忍，而对错标则进行过滤或加权处理。
一致性正则化 (Consistency Regularization)：在 PML 中，即使面对不确定的标签，我们也可以期望模型的预测在数据增强或模型扰动下保持一定的一致性。利用这一点来训练更鲁棒的模型。
基于证据学习 (Evidence Learning)：将标签的确定性建模为一种“证据”，并根据证据的强弱来更新模型参数，从而更灵活地处理不同程度的不确定性。

3. 更强大的特征表示与标签推断：
多模态 PML：在图像、文本、音频等不同模态数据上进行 PML。例如，在图像领域，除了视觉信息，还可以结合图像的文本描述来帮助推断潜在的标签。
跨领域 PML：在源域有丰富标注数据，但在目标域标注数据稀疏的情况下，如何进行 PML。这涉及到领域自适应和迁移学习的技术。
自监督与半监督 PML：利用未标注数据进行预训练，或者将 PML 与自监督学习任务结合，以提升模型的泛化能力和对复杂标签结构的理解。

4. 可解释性与公平性考量：
可视化解释：利用注意力可视化、图结构可视化等方式，让用户理解模型是如何做出预测的。
基于规则的推断：将一些领域知识或逻辑规则融入到 PML 模型中，提高结果的可解释性。
对抗性攻击与防御：研究模型在对抗性扰动下的鲁棒性，以及如何抵御恶意攻击，确保模型的公平性和安全性。

总结

偏多标签学习作为多标签学习领域中一个重要且富有挑战性的分支，其核心在于如何处理现实世界中不完整、不准确的标签信息。从早期对噪声标签的探索，到如今基于深度学习和图结构模型的复杂关系建模，PML 的研究不断深入，并在解决各种实际应用问题上展现出巨大的潜力。未来的研究将继续聚焦于更鲁棒的算法设计、更精细的标签关系建模、更强的可解释性以及与其他新兴学习范式的融合，以应对更加复杂和多变的真实世界数据挑战。

谢邀~

硕士阶段正好是做这个topic的，来总结一下。有偏颇之处，欢迎指正。

首先介绍一下偏多标记学习框架。

偏多标记学习框架

在传统的监督学习中，有一个输入空间，还有一个输出空间(目标空间)。我们的目标是在从这两个空间独立同分布采样得到的训练集上，通过监督学习算法学习一个分类模型，该模型能准确地预测未见样本所属的类别(标记)。

从上述过程我们可以看出，监督信息是进行有效学习的关键因素。这里的监督信息通常意味着强监督信息，即，1）标记信息充足；2）标记信息唯一；3）标记信息明确。在强监督信息的假设下，通过学习，往往能获得一个泛化性能较强的模型。然而，在实际应用中，由于一些客观因素(如，资源受限，环境制约等)因素，我们往往难以获得强监督信息，有的仅仅是弱监督信息。这时问题就来了，在仅基于弱监督信息的情况下，我们是否依然能通过学习得到一个好的模型。

为了解决这个问题，各路大牛提出了多种弱监督学习框架，包括半监督学习[1]，多标记学习[2]以及偏标记学习[3]等等。这些学习框架分别违背了上述强监督信息中提及的三点假设，也就是标注信息不充足，标注信息不唯一，以及标注信息有歧义。在现实场景中，实际的任务可能要更复杂，例如，当标记信息既不唯一又含有歧义，我们应当如何进行学习？为了解决这样的问题，我们提出了偏多标记学习框架(Partial Multi-label Learning, PML)。

首先来看一个现实场景中的例子，在众包平台上，多个标注者可能同时标注同一张图片，他们标注的并集就构成了候选标记集合，该集合既包含相关标记又包含无关标记(也称噪声标记)。如在图3中，虚线上面的是相关标记，虚线下面的是噪声标记(在训练阶段，并不知道哪些是相关标记)。

为了解决该问题，我们提出了一种新型弱监督学习框架，偏多标记学习。在偏多标记学习中，每个样本与一候选标记集相关联，该集合包含以下监督信息：

• 候选集既包含相关标记也包含无关标记；
• 候选集包含至少一个相关标记，但数目未知；
• 候选集不包含的标记是无关标记。

偏标记学习方法

先讲这些，有空来更新我们提出的一些方法~

PS：最近太忙了，可能得过段时间再更新^-^

[1] Semi-supervised learning literature survey.

[2] A review on multi-label learning algorithms.

[3] Learning from partial labels.

可以参考这个问题部分标签学习和缺失标签学习到底什么异同？

以及我之前的回答：

部分标签学习和缺失标签学习到底什么异同？ - 皓波的回答 - 知乎 https://www.zhihu.com/question/418818026/answer/1454922545

还可以参考我们在多标签学习的最新综述《The Emerging Trends of Multi-Label Learning》，里面也有对PML的介绍，

Arxiv地址：https://arxiv.org/abs/2011.11197

知乎：