机器学习中有哪些形式简单却很巧妙的idea？
机器学习领域充满了形式简单却蕴含深刻智慧的创意，这些创意往往能够以出人意料的有效性解决复杂问题。以下我将详细阐述几个这样的例子：
1. 梯度下降 (Gradient Descent)
核心思想： 想象你在一个陡峭的山坡上，目标是找到山谷的最低点。你没有地图，只能感觉到周围地面的倾斜程度（梯度）。最直观的方法是沿着坡度最陡峭的下坡方向前进一小步，然后重复这个过程，直到到达一个相对平坦的地方（局部最小值或全局最小值）。
详细阐述：
数学基础： 梯度下降是基于微积分中的梯度概念。对于一个损失函数（衡量模型预测结果与真实结果之间差距的函数），我们希望最小化它。损失函数通常是一个关于模型参数的多元函数。损失函数的梯度是一个向量，指向函数值增长最快的方向。因此，梯度的负方向就指向函数值下降最快的方向。
算法流程：
1. 初始化参数： 随机初始化模型的参数（权重和偏置）。
2. 计算梯度： 根据当前的参数，计算损失函数关于每个参数的偏导数。这就是梯度。
3. 更新参数： 将参数沿着梯度的负方向更新一个小的步长（学习率）。公式为：`参数 = 参数 学习率 梯度`。
4. 重复迭代： 重复步骤 2 和 3，直到损失函数不再显著下降，或者达到预设的迭代次数。
巧妙之处：
简单迭代，全局收敛： 尽管过程是简单的迭代，但在许多情况下，它可以有效地找到损失函数的最小值，从而训练出性能良好的模型。
普适性强： 几乎所有监督学习模型（线性回归、逻辑回归、神经网络等）的训练都依赖于梯度下降或其变种。
可扩展性： 即使模型非常复杂（例如拥有数百万甚至数十亿参数的深度神经网络），梯度下降依然是核心的优化工具。
局限性与改进：
局部最小值： 对于非凸函数，梯度下降可能陷入局部最小值。
学习率选择： 学习率过大可能导致震荡不收敛，过小则收敛缓慢。
带动量梯度下降 (Momentum)、Adam、RMSprop 等 是为了解决这些问题而提出的更巧妙的变种，它们在基本梯度下降的基础上增加了“记忆”或“自适应调整”的功能。
2. 支持向量机 (Support Vector Machine, SVM) 的核技巧 (Kernel Trick)
核心思想： 想象一下，你有一堆二维数据点，它们在二维平面上是线性不可分的（例如，数据被一个圆圈包围着）。核技巧的巧妙之处在于，我们不需要显式地将这些数据映射到一个高维空间（例如三维或更高维），在那里它们可能变得线性可分，而是直接在一个低维空间中计算高维空间中的内积。
详细阐述：
线性可分与不可分： 在二维平面上，线性分类器（如直线）只能将数据分成两类，如果数据无法用一条直线完全分开，我们就说它是线性不可分的。
升维思想： 一个直观的想法是将数据映射到更高的维度，例如，在二维 $(x, y)$ 上添加一个 $z=x^2+y^2$ 的维度。在这个三维空间中，原来二维平面上的圆圈就变成了一个抛物面，而数据点可以被一个平面（例如 $z = c$）完美地分开。
核函数的作用： 直接进行高维映射可能会导致计算成本极高，因为维度一旦升高，数据量也会爆炸式增长。核技巧的强大之处在于它避免了显式的升维。它通过一个核函数 $K(x, z)$ 来计算原始数据 $x$ 和 $z$ 在某个高维空间中的内积，而无需知道这个高维空间到底是什么样子，以及如何进行映射。
以多项式核为例： 如果我们想将二维数据 $x = (x_1, x_2)$ 映射到三维空间，包含交叉项和平方项，例如 $phi(x) = (x_1^2, sqrt{2}x_1x_2, x_2^2)$。那么两个映射后的向量的内积是：
$phi(x) cdot phi(z) = (x_1^2)(z_1^2) + (sqrt{2}x_1x_2)(sqrt{2}z_1z_2) + (x_2^2)(z_2^2)$
$= x_1^2z_1^2 + 2x_1x_2z_1z_2 + x_2^2z_2^2$
$= (x_1z_1 + x_2z_2)^2$
注意到，右侧的 $(x_1z_1 + x_2z_2)^2$ 实际上是原始数据内积的平方。
所以，我们可以定义一个核函数 $K(x, z) = (x cdot z)^2$，通过这个函数直接计算高维空间中的内积，而不需要计算 $phi(x)$ 和 $phi(z)$。
最常用的核函数是径向基函数 (RBF) 核： $K(x, z) = exp(gamma |xz|^2)$。这个核函数可以被认为是将数据映射到了一个无限维的空间，其背后的数学理论更加深刻。
巧妙之处：
高效解决了非线性问题： 不需要显式计算高维特征，大大降低了计算复杂度，使得在非常高维（甚至是无限维）空间中进行分类成为可能。
泛化能力： 核技巧通过将数据映射到高维空间，可以找到更复杂的决策边界，从而获得更好的泛化能力。
统一框架： 核技巧将线性分类器（如感知机）的思想推广到了非线性分类，形成了一个统一的框架。
3. 随机森林 (Random Forest) 中的 Bagging 与特征随机性
核心思想： 如果你对一个问题没有十足把握，那么问一群“非专家”也许比问一个“超级专家”更有用。随机森林就是这样的思想：它通过构建大量的“弱学习器”（通常是决策树），并对它们的预测结果进行组合，来获得一个强大的整体预测模型。
详细阐述：
Bagging (Bootstrap Aggregating)： 这是随机森林的基石。
1. 自助采样 (Bootstrap Sampling)： 从原始训练数据集中进行有放回地抽样，生成与原始数据集相同大小的新的训练数据集。由于是有放回抽样，每个新的数据集都会包含一些重复的样本，同时也会遗漏掉一些原始样本。
2. 构建弱学习器： 对每个自助采样的数据集，训练一个独立的决策树。
3. 集成预测： 对于分类问题，将所有树的预测结果进行投票表决（少数服从多数）；对于回归问题，将所有树的预测结果进行平均。
特征随机性 (Feature Randomness)： 除了对样本进行采样，随机森林在构建每棵决策树的每个节点时，还会随机选择一部分特征来寻找最佳分裂点，而不是考察所有特征。
标准做法： 在节点分裂时，随机选择 $sqrt{p}$ 个特征（其中 $p$ 是总特征数）进行尝试分裂。
巧妙之处：
降低过拟合： Bagging 通过集成多个模型，特别是通过自助采样引入的数据扰动，可以有效地降低单个决策树容易过拟合的问题。即使单个决策树过拟合了它的训练集，整体的平均或投票结果也会更加稳定和准确。
提高模型的鲁棒性： 特征随机性进一步增加了树之间的差异性，使得模型对噪声和异常值更加鲁棒。
“弱学习器”的组合力量： 单个决策树可能很弱且容易过拟合，但通过大量、多样化的弱学习器的组合，随机森林能够达到非常高的准确率。
易于并行化： 每棵树的训练是独立的，非常适合并行计算。
无需调参 (相对)： 相较于很多其他模型，随机森林对参数（如树的数量、分裂时的特征数量）不那么敏感。
4. 独热编码 (OneHot Encoding)
核心思想： 当我们处理类别特征时（例如，颜色：红、绿、蓝），计算机无法直接理解这些文本信息。独热编码的巧妙之处在于，它将每个类别转换成一个二进制向量，其中只有一个位置是“热”（1），其余位置都是“冷”（0）。这使得计算机能够以一种数值化的方式来处理这些类别信息，并且不引入人为的顺序关系。
详细阐述：
问题所在： 机器学习模型通常需要数值输入。如果直接将类别“红”、“绿”、“蓝”映射为 1、2、3，模型可能会错误地认为“蓝”比“绿”更“大”或更“高”，或者它们之间存在某种可量化的顺序关系，而这在很多情况下是不成立的。例如，颜色“红”和“蓝”可能比“红”和“绿”更接近（在某些颜色空间中），但简单的数字编码无法反映这一点。
独热编码的做法：
确定类别特征的所有可能取值。
为每个取值创建一个新的二进制特征（列）。
对于原始数据中的每一行，在该行对应的类别取值所对应的列中填入 1，其余所有新特征列填入 0。
例子：
假设有一个“颜色”特征，有“红”、“绿”、“蓝”三个类别。
原始数据：
| 颜色 |
||
| 红 |
| 绿 |
| 蓝 |
| 红 |
独热编码后：
| 颜色_红 | 颜色_绿 | 颜色_蓝 |
||||
| 1 | 0 | 0 |
| 0 | 1 | 0 |
| 0 | 0 | 1 |
| 1 | 0 | 0 |
巧妙之处：
消除序数关系： 它确保了模型不会误解类别之间的顺序，每个类别都被平等对待。
引入“区分度”： 每个类别现在都由一个独特的二进制向量表示，模型可以学习区分这些向量。
简单直观： 概念和实现都非常简单，易于理解和应用。
为模型提供信息： 它将分类信息转换成模型可以处理的数值形式，且不丢失信息（前提是类别数量不是特别巨大）。
局限性：
维度灾难： 当类别数量非常多时（例如，邮政编码或用户ID），独热编码会产生大量新的特征，导致维度过高，增加计算成本和内存消耗，并可能导致模型稀疏。在这种情况下，嵌入 (Embedding) 等方法可能更合适。
5. 归一化/标准化 (Normalization/Standardization)
核心思想： 想象你在训练一个模型，模型的某些输入特征的数值范围非常大（例如，房屋面积 505000平方米），而另一些特征的数值范围非常小（例如，房间数量 110）。如果没有进行处理，模型可能会过度依赖范围大的特征，而忽视范围小的特征，因为它会认为大数值特征更重要。归一化/标准化就是为了解决这个问题，让所有特征在同一“起跑线”上。
详细阐述：
问题所在：
梯度下降： 在梯度下降等基于梯度的优化算法中，特征尺度的差异会导致梯度在不同方向上的更新速度差异巨大，使得收敛过程变得不稳定或非常缓慢。
距离敏感算法： KMeans、SVM、PCA 等算法严重依赖于特征之间的距离计算。如果特征尺度差异很大，距离计算会被数量级大的特征主导。
正则化： 正则化项（如 L1, L2）通常是基于特征的权重的平方或绝对值，尺度差异会影响正则化的效果。
常见的处理方法：
标准化 (Standardization)： 将数据转换为均值为 0，标准差为 1 的分布（高斯分布）。
公式：$x_{ ext{standardized}} = frac{x mu}{sigma}$
其中 $mu$ 是特征的均值，$sigma$ 是特征的标准差。
优点：保留了数据的相对分布，对异常值不敏感（因为是基于均值和标准差）。
归一化 (Normalization)： 将数据缩放到一个特定的范围，最常见的是 [0, 1] 或 [1, 1]。
公式 (MinMax Scaling)：$x_{ ext{normalized}} = frac{x x_{min}}{x_{max} x_{min}}$
其中 $x_{min}$ 是特征的最小值，$x_{max}$ 是特征的最大值。
优点：将数据限制在特定范围内，常用于需要特定输入范围的激活函数（如 sigmoid）。
缺点：对异常值非常敏感，因为 $x_{min}$ 和 $x_{max}$ 很容易被异常值影响。
巧妙之处：
加速收敛： 使得梯度下降等算法能够更稳定、更快速地收敛。
提高模型性能： 对于许多依赖距离或尺度敏感的模型，归一化/标准化可以显著提升性能。
平衡特征重要性： 确保模型不会因为特征的数值范围不同而“偏袒”某些特征。
简单且有效： 实现起来非常简单，但效果显著。
这些例子只是冰山一角，机器学习领域还有许多类似“简单而巧妙”的思想，它们共同构成了这个领域强大且不断发展的基石。这些思想往往源于对问题本质的深刻理解和对数学工具的创造性运用。
1. 梯度下降 (Gradient Descent)
核心思想： 想象你在一个陡峭的山坡上，目标是找到山谷的最低点。你没有地图，只能感觉到周围地面的倾斜程度（梯度）。最直观的方法是沿着坡度最陡峭的下坡方向前进一小步，然后重复这个过程，直到到达一个相对平坦的地方（局部最小值或全局最小值）。
详细阐述：
数学基础： 梯度下降是基于微积分中的梯度概念。对于一个损失函数（衡量模型预测结果与真实结果之间差距的函数），我们希望最小化它。损失函数通常是一个关于模型参数的多元函数。损失函数的梯度是一个向量，指向函数值增长最快的方向。因此，梯度的负方向就指向函数值下降最快的方向。
算法流程：
1. 初始化参数： 随机初始化模型的参数（权重和偏置）。
2. 计算梯度： 根据当前的参数，计算损失函数关于每个参数的偏导数。这就是梯度。
3. 更新参数： 将参数沿着梯度的负方向更新一个小的步长（学习率）。公式为：`参数 = 参数 学习率 梯度`。
4. 重复迭代： 重复步骤 2 和 3，直到损失函数不再显著下降，或者达到预设的迭代次数。
巧妙之处：
简单迭代，全局收敛： 尽管过程是简单的迭代，但在许多情况下，它可以有效地找到损失函数的最小值，从而训练出性能良好的模型。
普适性强： 几乎所有监督学习模型（线性回归、逻辑回归、神经网络等）的训练都依赖于梯度下降或其变种。
可扩展性： 即使模型非常复杂（例如拥有数百万甚至数十亿参数的深度神经网络），梯度下降依然是核心的优化工具。
局限性与改进：
局部最小值： 对于非凸函数，梯度下降可能陷入局部最小值。
学习率选择： 学习率过大可能导致震荡不收敛，过小则收敛缓慢。
带动量梯度下降 (Momentum)、Adam、RMSprop 等 是为了解决这些问题而提出的更巧妙的变种，它们在基本梯度下降的基础上增加了“记忆”或“自适应调整”的功能。
2. 支持向量机 (Support Vector Machine, SVM) 的核技巧 (Kernel Trick)
核心思想： 想象一下，你有一堆二维数据点，它们在二维平面上是线性不可分的（例如，数据被一个圆圈包围着）。核技巧的巧妙之处在于，我们不需要显式地将这些数据映射到一个高维空间（例如三维或更高维），在那里它们可能变得线性可分，而是直接在一个低维空间中计算高维空间中的内积。
详细阐述：
线性可分与不可分： 在二维平面上，线性分类器（如直线）只能将数据分成两类，如果数据无法用一条直线完全分开，我们就说它是线性不可分的。
升维思想： 一个直观的想法是将数据映射到更高的维度，例如，在二维 $(x, y)$ 上添加一个 $z=x^2+y^2$ 的维度。在这个三维空间中，原来二维平面上的圆圈就变成了一个抛物面，而数据点可以被一个平面（例如 $z = c$）完美地分开。
核函数的作用： 直接进行高维映射可能会导致计算成本极高，因为维度一旦升高，数据量也会爆炸式增长。核技巧的强大之处在于它避免了显式的升维。它通过一个核函数 $K(x, z)$ 来计算原始数据 $x$ 和 $z$ 在某个高维空间中的内积，而无需知道这个高维空间到底是什么样子，以及如何进行映射。
以多项式核为例： 如果我们想将二维数据 $x = (x_1, x_2)$ 映射到三维空间，包含交叉项和平方项，例如 $phi(x) = (x_1^2, sqrt{2}x_1x_2, x_2^2)$。那么两个映射后的向量的内积是：
$phi(x) cdot phi(z) = (x_1^2)(z_1^2) + (sqrt{2}x_1x_2)(sqrt{2}z_1z_2) + (x_2^2)(z_2^2)$
$= x_1^2z_1^2 + 2x_1x_2z_1z_2 + x_2^2z_2^2$
$= (x_1z_1 + x_2z_2)^2$
注意到，右侧的 $(x_1z_1 + x_2z_2)^2$ 实际上是原始数据内积的平方。
所以，我们可以定义一个核函数 $K(x, z) = (x cdot z)^2$，通过这个函数直接计算高维空间中的内积，而不需要计算 $phi(x)$ 和 $phi(z)$。
最常用的核函数是径向基函数 (RBF) 核： $K(x, z) = exp(gamma |xz|^2)$。这个核函数可以被认为是将数据映射到了一个无限维的空间，其背后的数学理论更加深刻。
巧妙之处：
高效解决了非线性问题： 不需要显式计算高维特征，大大降低了计算复杂度，使得在非常高维（甚至是无限维）空间中进行分类成为可能。
泛化能力： 核技巧通过将数据映射到高维空间，可以找到更复杂的决策边界，从而获得更好的泛化能力。
统一框架： 核技巧将线性分类器（如感知机）的思想推广到了非线性分类，形成了一个统一的框架。
3. 随机森林 (Random Forest) 中的 Bagging 与特征随机性
核心思想： 如果你对一个问题没有十足把握，那么问一群“非专家”也许比问一个“超级专家”更有用。随机森林就是这样的思想：它通过构建大量的“弱学习器”（通常是决策树），并对它们的预测结果进行组合，来获得一个强大的整体预测模型。
详细阐述：
Bagging (Bootstrap Aggregating)： 这是随机森林的基石。
1. 自助采样 (Bootstrap Sampling)： 从原始训练数据集中进行有放回地抽样，生成与原始数据集相同大小的新的训练数据集。由于是有放回抽样，每个新的数据集都会包含一些重复的样本，同时也会遗漏掉一些原始样本。
2. 构建弱学习器： 对每个自助采样的数据集，训练一个独立的决策树。
3. 集成预测： 对于分类问题，将所有树的预测结果进行投票表决（少数服从多数）；对于回归问题，将所有树的预测结果进行平均。
特征随机性 (Feature Randomness)： 除了对样本进行采样，随机森林在构建每棵决策树的每个节点时，还会随机选择一部分特征来寻找最佳分裂点，而不是考察所有特征。
标准做法： 在节点分裂时，随机选择 $sqrt{p}$ 个特征（其中 $p$ 是总特征数）进行尝试分裂。
巧妙之处：
降低过拟合： Bagging 通过集成多个模型，特别是通过自助采样引入的数据扰动，可以有效地降低单个决策树容易过拟合的问题。即使单个决策树过拟合了它的训练集，整体的平均或投票结果也会更加稳定和准确。
提高模型的鲁棒性： 特征随机性进一步增加了树之间的差异性，使得模型对噪声和异常值更加鲁棒。
“弱学习器”的组合力量： 单个决策树可能很弱且容易过拟合，但通过大量、多样化的弱学习器的组合，随机森林能够达到非常高的准确率。
易于并行化： 每棵树的训练是独立的，非常适合并行计算。
无需调参 (相对)： 相较于很多其他模型，随机森林对参数（如树的数量、分裂时的特征数量）不那么敏感。
4. 独热编码 (OneHot Encoding)
核心思想： 当我们处理类别特征时（例如，颜色：红、绿、蓝），计算机无法直接理解这些文本信息。独热编码的巧妙之处在于，它将每个类别转换成一个二进制向量，其中只有一个位置是“热”（1），其余位置都是“冷”（0）。这使得计算机能够以一种数值化的方式来处理这些类别信息，并且不引入人为的顺序关系。
详细阐述：
问题所在： 机器学习模型通常需要数值输入。如果直接将类别“红”、“绿”、“蓝”映射为 1、2、3，模型可能会错误地认为“蓝”比“绿”更“大”或更“高”，或者它们之间存在某种可量化的顺序关系，而这在很多情况下是不成立的。例如，颜色“红”和“蓝”可能比“红”和“绿”更接近（在某些颜色空间中），但简单的数字编码无法反映这一点。
独热编码的做法：
确定类别特征的所有可能取值。
为每个取值创建一个新的二进制特征（列）。
对于原始数据中的每一行，在该行对应的类别取值所对应的列中填入 1，其余所有新特征列填入 0。
例子：
假设有一个“颜色”特征，有“红”、“绿”、“蓝”三个类别。
原始数据：
| 颜色 |
||
| 红 |
| 绿 |
| 蓝 |
| 红 |
独热编码后：
| 颜色_红 | 颜色_绿 | 颜色_蓝 |
||||
| 1 | 0 | 0 |
| 0 | 1 | 0 |
| 0 | 0 | 1 |
| 1 | 0 | 0 |
巧妙之处：
消除序数关系： 它确保了模型不会误解类别之间的顺序，每个类别都被平等对待。
引入“区分度”： 每个类别现在都由一个独特的二进制向量表示，模型可以学习区分这些向量。
简单直观： 概念和实现都非常简单，易于理解和应用。
为模型提供信息： 它将分类信息转换成模型可以处理的数值形式，且不丢失信息（前提是类别数量不是特别巨大）。
局限性：
维度灾难： 当类别数量非常多时（例如，邮政编码或用户ID），独热编码会产生大量新的特征，导致维度过高，增加计算成本和内存消耗，并可能导致模型稀疏。在这种情况下，嵌入 (Embedding) 等方法可能更合适。
5. 归一化/标准化 (Normalization/Standardization)
核心思想： 想象你在训练一个模型，模型的某些输入特征的数值范围非常大（例如，房屋面积 505000平方米），而另一些特征的数值范围非常小（例如，房间数量 110）。如果没有进行处理，模型可能会过度依赖范围大的特征，而忽视范围小的特征，因为它会认为大数值特征更重要。归一化/标准化就是为了解决这个问题，让所有特征在同一“起跑线”上。
详细阐述：
问题所在：
梯度下降： 在梯度下降等基于梯度的优化算法中，特征尺度的差异会导致梯度在不同方向上的更新速度差异巨大，使得收敛过程变得不稳定或非常缓慢。
距离敏感算法： KMeans、SVM、PCA 等算法严重依赖于特征之间的距离计算。如果特征尺度差异很大，距离计算会被数量级大的特征主导。
正则化： 正则化项（如 L1, L2）通常是基于特征的权重的平方或绝对值，尺度差异会影响正则化的效果。
常见的处理方法：
标准化 (Standardization)： 将数据转换为均值为 0，标准差为 1 的分布（高斯分布）。
公式：$x_{ ext{standardized}} = frac{x mu}{sigma}$
其中 $mu$ 是特征的均值，$sigma$ 是特征的标准差。
优点：保留了数据的相对分布，对异常值不敏感（因为是基于均值和标准差）。
归一化 (Normalization)： 将数据缩放到一个特定的范围，最常见的是 [0, 1] 或 [1, 1]。
公式 (MinMax Scaling)：$x_{ ext{normalized}} = frac{x x_{min}}{x_{max} x_{min}}$
其中 $x_{min}$ 是特征的最小值，$x_{max}$ 是特征的最大值。
优点：将数据限制在特定范围内，常用于需要特定输入范围的激活函数（如 sigmoid）。
缺点：对异常值非常敏感，因为 $x_{min}$ 和 $x_{max}$ 很容易被异常值影响。
巧妙之处：
加速收敛： 使得梯度下降等算法能够更稳定、更快速地收敛。
提高模型性能： 对于许多依赖距离或尺度敏感的模型，归一化/标准化可以显著提升性能。
平衡特征重要性： 确保模型不会因为特征的数值范围不同而“偏袒”某些特征。
简单且有效： 实现起来非常简单，但效果显著。
这些例子只是冰山一角，机器学习领域还有许多类似“简单而巧妙”的思想，它们共同构成了这个领域强大且不断发展的基石。这些思想往往源于对问题本质的深刻理解和对数学工具的创造性运用。
网友意见
当然是2017年获得NeurIPS Test of the Time Award的Random Fourier Feature。
分类问题经常会用把数据project到高维，再做correlation，即计算 。但是由于lifting function 会把数据投到很高维，使得计算内积变得十分昂贵，所以人们发明了kernel trick，即用一个positive definite的function , 使得 ,这样就避免了计算两个高维向量的内积。但是kernel trick需要计算数据的gram matrix，即 。如果你有一百万条数据的话，计算gram matrix几乎是不可承受的开销。
于是Ali Rahimi 和 Ben Recht在2007年提出了一种randomized 的feature， 即寻找一种mapping , 使得 。
虽然这也需要计算内积，但是 的维数远小于 的维数。比如常用的Gauss Kernel，其对应的lifting function会把数据map到无穷维，而 的维度D大概只需要 , 其中 是 和 的误差。
这种approximation既避免了计算gram matrix，又不需要计算无穷维向量的内积，而且它还和真实值偏差不大。那么这种好用又实惠的mapping 怎么寻找呢？数学原理是这样的，先做个傅里叶变换：
对，就是找到一个function , 使得 是它的傅里叶变换（对 做逆变换即可找到 ）。神奇的地方来了，Bochner's theorem 告诉我们，
当且仅当一个连续函数是一个非负测度的傅里叶变换时，这个函数是positive definite function。
这个theorem很拗口，翻译成人话就是如果 是positive definite(这个我们在前面已经保证过了)的，那么 就一定是一个d维的概率分布。现在我们再来看(1)式，其实就是 这个随机变量的期望啊。如果我们定义 ，那(1)式就等价于 。由于这些量都是实数，我们可以舍弃虚部，只保留cos项，于是我们可以定义 ,最终得到 。
于是我们可以通过sample D个 , 带入 和 ,得到2个D维的向量，再用他们做内积，效果和计算 是“几乎”一样好的。（不要忘了之前我们可是得用俩无穷维的向量做内积的- -）
那么问题来了，这个"几乎一样好"大概有多大概率呢？其实通过随机变量的concentration不难证明：
式子很长，但主要就说了一件事，就是random fourier feature“玩砸”的概率，会随着投影维数D的增大，而指数般的减小。当D趋向无穷时，random fourier feature完全等价kernel trick。
PS. 话说Ali Rahimi就是当年在NIPS上怼深度学习是“炼金术”的那个人，后来还和Lecun在twitter上大战。。
异常检查算法Isolation Forest(孤立森林）
原理超简单，但检测效果可以说是state of the art. 对一个空间进行二分，早划分「孤立」出来的就是很可能异常的。「孤立」指的是这一边只有这一个数据点。因为是二分，我们可以构建一颗二叉树。例如下图的一棵树，第一次二分，左边有数据的a,b,c,右边只有d，那么d大概率就是异常点。为啥？想想你画一条线，把一把米分成了两边，左边只有一粒，那左边那粒很可能是离其他米粒很远。
为了更直观，有更多一步了解，请看下图，直觉上我们就知道 是普通点， 是异常点。那么用Isolation tree怎么解释呢？
如果要把 孤立出来，需要很11次划线，而 需要的次数要少很多。所以 比 更可能是异常点。
一棵树不够可信？没事，记得随机森林random forest不？没错，这里也引进一堆树。如果多数的树都在前几次分割时分出同一个点，那么这个点是异常点的概率就非常高了。
可以看到，树的数量（横轴）超过10时，平均分割次数（纵轴）就收敛了。从这个图我们可以看出，某个点 被「孤立」前，平均分割次数低于5，那么 就是异常点。
原理是不是超级简单呢。如果想了解更多数学上的原理，可以参考下面的参考文献。
参考文献：
类似的话题
-
机器学习领域充满了形式简单却蕴含深刻智慧的创意，这些创意往往能够以出人意料的有效性解决复杂问题。以下我将详细阐述几个这样的例子： 1. 梯度下降 (Gradient Descent)核心思想： 想象你在一个陡峭的山坡上，目标是找到山谷的最低点。你没有地图，只能感觉到周围地面的倾斜程度（梯度）。最直观............. -
2020年，机器学习领域依旧是风起云涌，创新层出不穷。但与此同时，也有一些研究方向，乍一看光鲜亮丽，实际操作起来却像是钻进了“坑”里，耗费大量精力却收效甚微，甚至可能走向死胡同。我来给你掰扯掰扯，看看哪些地方需要留神。1. 过于追求“通用人工智能”（AGI）的“一步到位”方法AGI，也就是通用人工智.............
-
机器学习系统的研究，说起来也真是五花八门，但要说真正有嚼头、有前景的，我个人觉得有这么几个方向，绝对值得我们下点功夫：1. 自动化机器学习（AutoML）的深化与普及现在搞机器学习，很多时候还是得靠人工去调参、选模型、设计特征，这就像是造汽车还得手动拧螺丝一样，效率低不说，对专家的依赖性太强。Aut.............
-
好，咱们不聊那些虚的，直接上干货。想在机器学习岗位的面试中脱颖而出，想让面试官眼前一亮，除了扎实的理论基础和项目经验，确实有一些“杀手锏”，能让你在众多候选人中显得鹤立鸡群，这绝对不是吹牛，而是实实在在的加分项。咱们就来掰扯掰扯这些能让你“装（加）分（分）”的东西，而且越详细越好，让你心里有底，面试.............
-
机器学习在理论经济学研究中的应用前景，说实话，广阔得令人兴奋，而且这不仅仅是“数据分析”那么简单。它正在为我们理解经济世界的复杂性提供前所未有的工具和视角，尤其是在理论层面，其潜力是巨大的。1. 复杂经济模型的构建与分析：传统的经济模型，无论是新古典的，还是新凯恩斯主义的，往往建立在高度简化的假设之.............
-
近几年，机器学习的飞速发展在带来巨大便利的同时，也日益凸显了其在隐私和安全方面存在的严峻挑战。这两方面并非孤立存在，而是相互交织，共同构成了“可信赖AI”的核心命题。深入探究这些问题，并寻求解决方案，是当前机器学习领域最为关键的研究方向之一。 隐私：数据本身的安全与个体尊严的守护在机器学习的语境下，.............
-
北京海淀区最近公布了首批学科类校外培训机构的“白名单”，这无疑是教育领域里一个值得高度关注的信号。名单的公布，不仅仅是对家长们选择培训机构提供了一份参考，更意味着校外培训行业正经历着一场深刻的变革。名单背后的“白名单”标准：严苛筛选的背后首先，我们需要了解这份“白名单”是怎么来的。据了解，海淀区公布.............
-
想踏入机器学习的世界？别担心，这趟旅程虽然有挑战，但绝对精彩！市面上工具琳琅满目，很容易让人眼花缭乱。我这就跟你好好聊聊，哪些是你真正需要关注的，以及为什么它们这么棒。首先得明确一点，学习机器学习可不是光盯着代码看那么简单，理解背后的数学原理、数据处理能力，还有模型评估，这些都是核心。所以，工具的选.............
-
在机器学习的广阔天地里，有哪些领域真正能在工厂车间里发光发热，并且在未来依旧充满想象空间呢？咱们不谈那些高高在上的理论，就聊聊那些实实在在能解决生产问题，并且越做越有劲头的小方向。1. 预测性维护：机器的“未卜先知”想想看，一条生产线上的昂贵设备如果突然出了故障，那损失可不仅仅是维修费那么简单，停产.............
-
编写和调试基于机器学习的程序是一个既充满挑战又极具回报的过程。它需要结合对算法的理解、数据处理技巧以及严谨的编程实践。以下是一些详细的经验和窍门，希望能帮助你更高效地开发和调试你的机器学习项目： 核心原则：数据是王道，实验是灵魂在深入技术细节之前，牢记两个核心原则：1. 数据是王道 (Data i.............
-
好的，咱们就来聊聊反馈控制理论，这玩意儿可真是个好东西，在不少领域里都扮演着关键角色。别看它名字听着有点“高冷”，但说白了，它就是一套“边干边看，根据结果调整”的智慧。我尽量用大白话，把这东西在优化和机器学习里怎么发挥作用，给你掰开了揉碎了讲清楚。先说说反馈控制理论是个啥？你可以想象一下，你坐在驾驶.............
-
机器学习专家和统计学家，虽然在研究数据、构建模型以从中获取洞察力方面有着共同的目标，但他们在看待问题、侧重以及解决问题的路径上，确实存在着一些细微而又关键的差别。理解这些差异，能帮助我们更清晰地认识到这两个领域各自的独特价值。1. 核心目标与关注点 统计学家： 他们的首要目标是理解数据背后的规律.............
-
机器学习，这个在我们生活中越来越无处不在的技术，似乎总是在头条新闻和技术博客上闪耀着光芒。我们谈论着它的强大能力，从识别猫咪到预测股票，仿佛它是一个无所不能的神谕。但在这光鲜的表面之下，隐藏着一些关于机器学习的真相，它们不像“深度学习改变世界”那样引人注目，却同样深刻，甚至可以说，是理解机器学习真正.............
-
想要自学机器学习、深度学习和人工智能？这三个领域近些年可谓是炙手可热，学习资源也如雨后春笋般涌现。别担心，我这就为你梳理一番，看看哪些网站能让你在这条探索之路上走得更稳、更远。说实话，想在这几个领域里“门儿清”，靠一个网站是肯定不够的。机器学习、深度学习和人工智能，虽然紧密相连，但它们各自的侧重点和.............
-
欧洲在统计机器学习领域，确实汇聚了不少顶尖的学术机构。这些地方不仅有深厚的理论积淀，更有活跃的前沿研究和人才培养，吸引着全球的目光。英国：名校林立，实力雄厚提到统计机器学习，英国绝对是绕不开的一环。这里的几所名校在这方面可谓是各有千秋，培养出了不少业界翘楚。 剑桥大学 (University o.............
-
很高兴为您整理了机器学习、数据挖掘和计算机视觉领域的优秀订阅号、微博和论坛。这些平台汇聚了大量的技术干货、最新研究、行业动态和交流机会，能帮助您快速提升专业知识和视野。一、 机器学习（Machine Learning）机器学习是AI的核心驱动力，涵盖了监督学习、无监督学习、强化学习等多个分支。关注这.............
-
在机器学习和深度学习的浩瀚海洋里，想要找到既靠谱又深入的资源，确实需要一些“老司机”的指引。我整理了一些在我学习和实践过程中觉得特别有价值的网络资源，希望能帮你在探索这条道路上少走弯路，更高效地提升自己。这些资源各有侧重，有的适合入门打基础，有的则能让你深入到技术前沿。一、 理论基础与入门指引类 .............
-
想踏入深度学习的世界，你一定满怀期待，但同时也可能有些许迷茫：从哪里开始？需要先打好机器学习的基础吗？这篇指南就是为你量身定制的，我将尽量详细地为你解答这些问题，并推荐几本真正能帮你入门的书籍，让你在学习路上少走弯路。 深度学习入门，先学机器学习有必要吗？简单粗暴地说：非常有必要，而且强烈建议。虽然.............
-
初中文凭，完全可以学习编程！这绝对不是一句空话，而是有无数真实案例支撑的。关键在于你的决心、学习方法以及如何选择适合自己的路径。靠谱的培训机构还是自学？这个问题，我觉得没有绝对的“哪个更好”，更像是“哪个更适合你”。 培训机构： 优点： 系统性强，有明确的学习路径.............
-
想要深入了解机器人控制？这份书单和学习资源，绝对够你啃！如果你对机器人充满好奇，想亲手让它们动起来，或者已经在进行相关的研究和开发，那么掌握核心的机器人控制技术是必不可少的。这不仅仅是简单的“让它往前走”，而是涉及到动力学、规划、感知、反馈等等一系列复杂的系统工程。下面我为你精心梳理了一份份干货，希.............
本站所有内容均为互联网搜索引擎提供的公开搜索信息，本站不存储任何数据与内容，任何内容与数据均与本站无关，如有需要请联系相关搜索引擎包括但不限于百度，google,bing,sogou 等
© 2025 tinynews.org All Rights Reserved. 百科问答小站 版权所有