分类机器学习中，某一标签占比太大（标签稀疏），如何学习？

在分类机器学习中，当某个标签的样本数量远远多于其他标签时，我们称之为“标签稀疏”或“类别不平衡”。这种情况在现实世界的数据集中非常普遍，例如欺诈检测（绝大多数交易是正常的，只有极少数是欺诈）、医疗诊断（大部分患者是健康的，只有少数患有某种疾病）或者垃圾邮件过滤（大部分邮件是正常的，只有少数是垃圾邮件）。

如果直接使用这些不平衡的数据训练模型，模型会倾向于预测占多数的那个标签，因为它能够轻易地在整体准确率上取得高分。但这样一来，模型在预测少数标签时的表现就会很差，而这些少数标签往往是我们更关心、更需要精确识别的。

那么，面对标签稀疏的困境，我们该如何让机器学习模型有效地学习呢？这需要我们从数据准备、模型选择和训练策略等多个层面进行调整。

1. 理解问题与评估指标：告别“准确率”

首先，我们要认识到，在类别不平衡的情况下，单纯看“准确率”（Accuracy）是误导的。一个模型如果总是预测少数类，例如在99%的正常交易中，模型全都预测为“正常”，那么它的准确率可以达到99%。但它却完全无法识别任何欺诈交易，这是我们绝不希望看到的。

因此，我们需要更合适的评估指标来衡量模型的性能，这些指标更关注模型在少数类上的表现：

精确率 (Precision)：在所有被模型预测为正类的样本中，有多少是真的正类。
公式：$Precision = frac{True Positives}{True Positives + False Positives}$
对我们而言，就是被预测为“欺诈”的交易中，有多少是真的欺诈。高精确率意味着模型“敢于”预测为正类，且预测的正确率高。

召回率 (Recall) 或 敏感度 (Sensitivity)：在所有实际为正类的样本中，有多少被模型成功预测出来了。
公式：$Recall = frac{True Positives}{True Positives + False Negatives}$
对我们而言，就是所有真实的欺诈交易中，有多少被模型识别出来了。高召回率意味着模型不容易漏掉少数类的样本。

F1Score：精确率和召回率的调和平均数。
公式：$F1 = 2 imes frac{Precision imes Recall}{Precision + Recall}$
F1Score 提供了一个平衡，当精确率和召回率都较高时，F1Score 才会高。

ROC曲线 (Receiver Operating Characteristic curve) 和 AUC (Area Under the Curve)：ROC曲线展示了在不同分类阈值下，真阳性率（Recall）与假阳性率（False Positive Rate）之间的权衡。AUC是ROC曲线下的面积，AUC值越大，模型性能越好。它对类别不平衡的鲁棒性较强。

PR曲线 (PrecisionRecall curve) 和 AUPRC (Area Under the PrecisionRecall Curve)：PR曲线更适合类别不平衡的场景，它展示了在不同分类阈值下，精确率与召回率之间的权衡。AUPRC也是一个重要的评估指标。

在处理类别不平衡问题时，我们通常会关注召回率（尽量找出所有少数类样本）或F1Score/AUPRC（在精确率和召回率之间找到平衡）。

2. 数据层面：重塑样本分布

既然原始数据不均衡，我们就可以尝试通过调整数据的样本分布来解决问题。主要有两种策略：过采样 (Oversampling) 和 欠采样 (Undersampling)。

2.1. 欠采样 (Undersampling)

核心思想：减少多数类样本的数量，使其与少数类样本的数量更加接近。
实现方法：
随机欠采样 (Random Undersampling)：随机从多数类中删除一部分样本，直到多数类的样本数量与少数类相当。
Tomek Links：寻找多数类和少数类之间距离很近的样本对（Tomek Link），并移除多数类样本。这有助于清理近邻的边界。
Edited Nearest Neighbours (ENN)：移除那些其k个最近邻中，大部分属于不同类别的多数类样本。这有助于移除多数类中靠近少数类边界的样本。
Cluster Centroids：对多数类样本进行聚类，然后用聚类中心的均值作为新的多数类样本。这可以在保留多数类主要信息的同时，减少样本数量。
优点：
可以显著减少训练时间，尤其是在多数类样本非常庞大的情况下。
能够减少噪声和冗余信息。
缺点：
信息丢失：最主要的缺点是可能会丢弃多数类中重要的、有用的信息，特别是当多数类本身存在多样性时。
如果少数类样本本身就很少，欠采样后可能几乎没有多数类样本了，反而不利于模型学习。
适用场景：当多数类样本数量非常庞大，而少数类样本数量尚可接受时。

2.2. 过采样 (Oversampling)

核心思想：增加少数类样本的数量，使其与多数类样本的数量更加接近。
实现方法：
随机过采样 (Random Oversampling)：简单地复制少数类样本，直到其数量达到多数类。
SMOTE (Synthetic Minority Oversampling Technique)：这是最常用的过采样方法之一。SMOTE不是简单地复制现有样本，而是通过在少数类样本之间进行插值来生成新的合成样本。
SMOTE 的基本步骤：
1. 选择一个少数类样本。
2. 找到它的k个最近邻（同样是少数类样本）。
3. 随机选择其中一个近邻。
4. 在这两个样本之间，随机选择一个点，生成一个新的合成样本。
SMOTE 的变种：
ADASYN (Adaptive Synthetic Sampling)：与SMOTE类似，但它会根据样本的“学习难度”来生成更多的合成样本。那些更难被学习的少数类样本（即其近邻中其他类别的样本较多）会被赋予更高的权重，生成更多的合成样本。
BorderlineSMOTE：只对那些位于类别边界上的少数类样本（Borderline samples）进行过采样，即那些在少数类中，但其k个近邻中包含较多多数类样本的样本。
数据增强 (Data Augmentation)：对于某些类型的数据（如图像、文本），可以应用各种变换来生成新的样本。例如，对于图像，可以进行旋转、翻转、裁剪、颜色抖动等；对于文本，可以进行同义词替换、句子重组等。
优点：
保留信息：不会像欠采样那样丢失多数类的信息。
更有效地训练模型：当少数类样本非常少时，过采样可以提供更多的学习信号。
缺点：
过拟合 (Overfitting)：随机过采样可能会导致模型仅仅记住少数类样本的特征，生成新样本也可能引入噪声，增加过拟合的风险。
计算成本：增加数据量会增加训练时间和计算资源的需求。
引入噪声：如果少数类本身就包含一些噪声样本，复制或插值这些样本可能会放大噪声。
适用场景：当少数类样本数量非常少，或者希望模型在少数类上有更好的泛化能力时。

2.3. 混合采样 (Hybrid Sampling)

结合过采样和欠采样。例如，先对少数类进行过采样（如SMOTE），然后再对多数类进行适度欠采样。这种方法可以在一定程度上平衡两种策略的优缺点。

重要提示：在应用这些采样技术时，务必将数据划分为训练集、验证集和测试集 之后 再进行采样。如果在划分数据集之前就进行采样，可能会导致信息泄露（即测试集或验证集中的样本信息被用于生成训练集中的样本），从而导致模型在验证集和测试集上的表现被高估。通常的做法是：
1. 划分训练集、验证集、测试集。
2. 在训练集上应用过采样或欠采样。
3. 使用验证集进行模型调优，在测试集上进行最终评估。

3. 模型层面：选择适合的算法与调整

一些算法本身就对类别不平衡有更好的鲁棒性，或者可以通过参数调整来改善。

3.1. 考虑对类别不平衡鲁棒性强的算法

基于树的模型（决策树、随机森林、梯度提升树）：这些模型通过特征划分来学习，对于类别不平衡的情况，它们通常表现出一定的鲁棒性。例如，决策树在划分时会考虑信息增益或基尼系数，即便少数类样本少，如果它们能带来显著的信息增益，也可能被有效划分。
支持向量机 (SVM)：SVM 允许通过设置 `class_weight` 参数来处理类别不平衡。它会对少数类样本的误分类给予更高的惩罚，从而迫使模型更加关注少数类。
集成方法（Ensemble Methods）：
Bagging：如随机森林，通过自助采样（Bootstrap）来构建多个基学习器。如果每次自助采样都倾向于包含一些少数类样本，那么集成后的模型可能整体表现更好。
Boosting：如 AdaBoost, Gradient Boosting (XGBoost, LightGBM, CatBoost)。这些算法会迭代地关注被错误分类的样本。在类别不平衡的情况下，Boosting 算法会给予少数类错误分类样本更高的权重，从而使后续的基学习器更加关注它们。

3.2. 利用模型的 `class_weight` 参数

许多机器学习库（如 scikitlearn）的分类器都提供了 `class_weight` 参数。

`class_weight='balanced'`：这是一种简单但非常有效的方法。它会根据类别频率自动设置权重，使少数类样本的权重高于多数类样本。具体来说，它将样本的权重设置为：
$weight_i = frac{N}{n_k}$
其中 $N$ 是总样本数，$n_k$ 是类别 $k$ 的样本数。这样，少数类样本的权重就相对较高，而多数类样本的权重则相对较低。

自定义权重：你也可以手动指定每个类别的权重，例如，根据你对不同类别误分类的“成本”来设置。例如，误分类一个少数类样本的“成本”可能比误分类多数类样本高得多。

如何使用 `class_weight`：
```python
from sklearn.svm import SVC
from sklearn.ensemble import RandomForestClassifier

使用SVC
svm = SVC(class_weight='balanced', probability=True) probability=True for probability estimates

使用RandomForestClassifier
rf = RandomForestClassifier(class_weight='balanced')
```

3.3. 调整分类阈值 (Adjusting the Classification Threshold)

大多数分类器在输出概率后，会使用一个固定的阈值（通常是0.5）来将概率转换为类别预测。例如，如果一个二分类模型预测样本属于正类的概率大于0.5，则预测为正类。

在类别不平衡的情况下，即使模型对少数类的预测概率略高于0.5，也可能因为其整体泛化能力差而误判。通过调整这个阈值，我们可以平衡精确率和召回率。

降低阈值：如果我们将阈值降低（例如，从0.5降到0.3），那么模型预测为正类的样本就会增加。这有助于提高召回率（找出更多少数类样本），但可能会降低精确率（因为会引入更多假阳性）。
升高阈值：如果升高阈值，则预测为正类的样本会减少，有助于提高精确率，但可能会降低召回率。

如何调整阈值：
1. 训练模型，并获取模型在验证集上的概率预测。
2. 计算不同阈值下的精确率、召回率和F1Score。
3. 选择一个最符合你需求的阈值（例如，在保证可接受的精确率下，最大化召回率）。
4. 在最终的预测阶段，使用这个调整后的阈值。

可视化阈值召回率/精确率的关系：
```python
from sklearn.metrics import precision_recall_curve
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
import matplotlib.pyplot as plt
import numpy as np

假设你已经有了 X_train, y_train, X_test, y_test
...

示例：训练一个逻辑回归模型
model = LogisticRegression(solver='liblinear', class_weight='balanced')
model.fit(X_train, y_train)

获取概率预测
y_pred_proba = model.predict_proba(X_test)[:, 1] 预测为正类的概率

计算精确率和召回率
precision, recall, thresholds = precision_recall_curve(y_test, y_pred_proba)

绘制PR曲线
plt.figure()
plt.plot(recall, precision, label='PrecisionRecall curve')
plt.xlabel('Recall')
plt.ylabel('Precision')
plt.title('PrecisionRecall Curve')
plt.grid(True)
plt.show()

寻找一个合适的阈值
例如，我们希望召回率达到 0.8
desired_recall = 0.8
idx = np.where(recall >= desired_recall)[0][1] 找到第一个满足条件的索引
optimal_threshold = thresholds[idx]
print(f"When recall is {desired_recall:.2f}, the optimal threshold is {optimal_threshold:.4f}")

使用最优阈值进行预测
y_pred_final = (y_pred_proba >= optimal_threshold).astype(int)
```

4. 模型集成与特殊技术

4.1. 集成方法 (Ensemble Methods)

前面提到了Boosting和Bagging，这里可以更详细地说。

EasyEnsemble：通过多次从多数类中随机抽取一个子集，然后与所有少数类样本组合形成多个训练集，然后训练多个模型。最后将这些模型的预测进行集成。这种方法可以在一定程度上缓解欠采样的信息丢失问题。
BalancedBaggingClassifier：在Bagging的过程中，每次都从多数类中随机采样与少数类相同数量的样本，以形成一个平衡的子数据集来训练基学习器。

4.2. 成本敏感学习 (CostSensitive Learning)

如前所述，`class_weight` 参数就是一种形式的成本敏感学习。更普遍的做法是，如果你能量化不同类型错误（例如，将欺诈判为正常 vs. 将正常判为欺诈）的实际业务成本，你可以构建一个成本矩阵 (Cost Matrix)，并在训练模型时将其考虑进去。

某些算法（如一些定制化的逻辑回归、支持向量机、决策树）允许你直接输入成本矩阵。模型在优化目标函数时，会尝试最小化总的成本，而不是简单地最小化错误率。

4.3. 异常检测 (Anomaly Detection)

在某些极端的类别不平衡场景下（例如，少数类样本少到几乎可以忽略不计，或者它们非常独特），你甚至可以考虑将其视为一个异常检测问题，而不是一个标准的分类问题。

OneClass SVM：只用多数类样本训练模型，然后将模型预测为“非正常”的样本视为异常。
Isolation Forest：通过随机划分数据来隔离异常点。异常点通常需要更少的划分就能被隔离出来。

何时考虑异常检测：当少数类样本非常非常少，以至于几乎没有代表性，或者它们的分布与多数类完全不同时。

5. 总结与实践建议

处理类别不平衡是一个需要系统性思维的过程，没有一刀切的解决方案。关键在于：

1. 深刻理解业务场景：明确哪些类别的错误更重要，并据此选择评估指标。
2. 选择合适的评估指标：避免过度依赖准确率，关注精确率、召回率、F1Score、AUC、AUPRC等。
3. 数据预处理是关键：
谨慎使用欠采样，注意信息丢失。
优先考虑SMOTE及其变种，但要注意过拟合风险。
在划分训练/验证/测试集之后再进行采样。
4. 利用模型自带的机制：`class_weight='balanced'` 是一个非常好的起点。
5. 调整分类阈值：这是在模型训练完成后，快速优化少数类预测性能的有效手段。
6. 尝试不同的模型和集成技术：如梯度提升树、SVM、集成方法等，它们通常对不平衡数据更友好。
7. 探索成本敏感学习：如果业务成本明确，将其纳入模型训练。
8. 将问题转化为异常检测：在极端情况下，这可能是一个有效的替代方案。
9. 交叉验证 (CrossValidation)：在处理不平衡数据时，使用分层交叉验证 (Stratified KFold) 来确保每个折叠中的类别比例与原始数据集相似，这对于获得可靠的评估非常重要。

在实践中，通常会结合多种方法进行尝试，例如，先用 `class_weight='balanced'` 训练一个随机森林，然后尝试 SMOTE 配合逻辑回归，再调整阈值，并通过分层交叉验证来比较不同方法的效果。不断地实验和评估，才能找到最适合你的特定问题的解决方案。

有几种方法 1.首先你要分清究竟是正负样本不均衡还是难易样本不均衡，如果是难易样本不均衡（比如目标检测）那经典的Focal loss很好用，他通过一个难易调制系数 和一个正负样本系数 可以很好地解决样本不均衡问题。2.对大样本下采样，小样本上采样。

具体Focal loss的原理可以看这篇文章：

1 问题定义

这是典型的数据类型不平衡问题。比如对于一个二分类任务，训练集中类别为0的负样本占样本总数的90%，而正样本只占10%。那么这样的训练集有什么弊端呢？

如果类别不平衡的样本直接丢给模型学习，那么很显然模型会在负样本上的学习效果更好，因为模型‘看到’的负样本更多。举个栗子，就像你如果花9天时间去学习数学，花一天时间去学习语文，不出意外你会在数学考试中表现更好。

那么对于类别不平衡的训练集，该如何处理呢？

做过视频或者广告点击预估比赛的小伙伴应该经常遇到这种问题，这类比赛的训练集一般都是非常不平衡的，正样本的比例通常不足10%。这里我总结了一些在比赛中用过的一些行之有效的处理方法，下面为大家逐一介绍。

Tips：是不是类别平衡的训练集就一定更好呢？这个不能保证，但对于大多数情况，类别平衡的数据对模型来说是更友好的，至少模型不会倾向于数量多的那一类别。

2 解决方法

2.1 采样

这是解决数据类别不平衡的最简单、最暴力的方法。

如果负样本太多，那就对负样本进行欠采样，就是随机的从负样本中抽取一部分样本，然后与正样本合并成训练集丢给模型训练。这样有个很明显的弊端，就是会造成严重的信息损失，数据收集不易，你还要丢弃一部分，很显然不合理。

如果正样本太少，那就对正样本进行过采样，就是对正样本进行复制，或者如果是NLP、CV任务，可以做一些数据增强，以此来增加正样本的数量。但是对于一般的任务来说，简单的对正样本进行复制，以此来达到增加正样本数量的目的，这样会使模型在这正样本上过拟合，因为模型‘看到’太多次这样的样本。就像你如果复习同一道题太多次，答案都背住了，所以看到类似的题就直接写答案，不会变通显然是不对的。

所以采样的方法不是解决类别不平衡问题的权宜之计，慎用。

2.2 SMOTE方法

上面介绍了对正样本进行过采样，会使模型过拟合的问题，SMOTE也是基于采样的方法，但是SMOTE可以降低过拟合的风险。

过采样是直接对样本进行复制，导致训练集重复样本太多，而SMOTE则不是直接复制，而是生成与正样本相似并且训练集中没有的样本。具体做法：首先随机选取一个正样本，然后用K近邻选取一个与其最相似的样本，取两样本的中值或者均值，作为新样本。这样生成的样本可一定程度降低模型过拟合的风险 (仍然可能过拟合) 。

Tips：如果你对K近邻有些陌生，可以参考我的这篇文章做个简单的回顾。

2.3 阈值调整

调整阈值也是比较简单而且有效的方法，这也是我在做比赛时经常会用到的方法。

对于二分类任务来说，一般会以0.5作为阈值来划分正负样本(比如逻辑回归)，预测概率值大于0.5则判定为正样本，反之为负样本。对于类别不平衡的训练集来说，这个阈值就不再合适了，因为当使用负样本来更新模型权重时，权重的更新会使模型的输出尽量偏向于0，如果负样本太多，那么负样本对于模型权重的更新量就比较多，使得模型输出接近0的概率就比较大，所以可以根据正负样本所占的比例来调整阈值。比如正样本只占10%，则可以将阈值调整为0.1，输出概率大于0.1的则判定为正样本，这样可以很好的解决类别不平衡问题，调整阈值是个简单且高效的方法。

感谢评论区馒头对解决方法的补充：可以在计算每个样本的loss时，通过为正样本增加权重的方式，来优化样本不平衡问题。该方法原理跟划分阈值类似，正样本对权重的更新会使模型输出尽可能偏向于1，但是正样本太少，所以一方面可以降低划分为正样本的阈值，另一方面则可以在计算loss时，增加正样本权重，从而增大正样本对模型参数的更新量，提高模型输出为1的概率。

2.4 模型融合

模型融合不仅可以提升预测的准确性，其实也可以解决类别不平衡问题。

比如对于正样本(10%)、负样本(90%)的训练集，可以将负样本均等拆分为9份（注意一定要同分布拆分），然后每一份都与正样本组合成为一个小训练集，得到9份类别平衡的数据。然后用9个模型分别去训练(可以使用有差异性的模型, 使预测精度更高)，然后可以对9个模型的预测结果加权累加，作为最终的输出。最优的权重通常难以抉择，可以使用一个LR将9个模型的输出作为输入，通过训练让模型自己学习每个模型对应的权重即可。

通过模型融合就可以保证每个模型的训练数据都是类别平衡的数据，并且还能提升预测的准确性，一举两得。

Tips：做一个小小的总结，方法一简单粗暴，方法二复杂、收益低，方法三和四是我最常用到的两种，简单且高效。当你遇到类别不平衡的数据时，可以参照以上几种方法进行尝试，至于哪种方法更有效还得通过实践来证明。

》》》一更

再放两篇 long tail 问题中关于 loss function 优化的改进, 主要是为了解决 uniform negative sampling slow convergence issue, 以及 estimation bias introduced by non-uniform sampling.

》》》原回答

这类问题我们一般称之为“长尾问题”, 如按照 class frequency 排序, 可以将 frequency 较高的 class/label 称之为 head label, frequency 较低的 class/label 称之为tail label. 下图是一个例子:

下面主要介绍一些处理这种数据常用的技巧和做法.

1. up-sampling 或 down-sampling, 我个人认为在 long tail 的 data 做这两种 sampling 都不是特别好的办法. 由于 tail label 数据非常 scarce, 如果对 head label 做 down-sampling 会丢失绝大部分信息. 同理, 对 tail label 做 up-sampling, 则引入大量冗余数据. 这里有篇文章对比了这两种采样方法: 文章链接.
2. 第二种方法我称之为 divide-and-conquer, 即将 head label 和 tail label 分别建模. 比如先利用 data-rich 的 head label 训练 deep model, 然后将学到的样本的 representation 迁移到 tail label model, 利用少量 tail label data 做 fine-tune. 具体做法可以参考: 文章链接.
3. 对 label 加权, 每个 label 赋予不同的 cost. 如给予 head label 较低的 weight, 而 tail label 则给予较高的 weight, 缺点是每个 label weight 需要启发式的确定. 可以参考: 文章链接.
4. sparse + low rank decomposition: 这种方法可能更适应于 multi-label learning, 学术上常常假设 label matrix 可以分解为 low-rank matrix 和 sparse matrix, 这里的 low-rank matrix 对应 head label, 而 sparse matrix 对应 tail label. 可以参考这篇文章.

最后就是, ensemble 对效果提升具有显著效果, 这里需要模型具有随机性, 常用于 tree methods (文章链接见评论). 希望我的回答能有一点帮助.