Batch normalization和Instance normalization的对比？

批归一化（Batch Normalization）和实例归一化（Instance Normalization）都是在深度学习中广泛使用的归一化技术，它们的核心思想都是为了解决深层神经网络中梯度消失或爆炸、以及对初始化敏感的问题，从而加速训练并提高模型的泛化能力。虽然目标相似，但它们的计算方式和适用场景却存在显著差异。

理解核心：什么是“归一化”？

在聊两者的区别之前，我们先明确一下“归一化”在神经网络语境下的含义。简单来说，就是对数据的分布进行调整，使其变得更加“规整”。最常见的归一化方式是标准化（Standardization），即将数据转换为均值为0，方差为1的分布。

想象一下，我们在训练一个图像识别模型。输入的图像可能是RGB三通道的像素值，它们的范围可能很大，分布也可能不均匀。如果直接将这些原始像素值喂给神经网络，第一层神经元接收到的数据可能差异巨大，导致训练过程非常不稳定。归一化就是解决这个问题，让每一层的输入数据都处于一个相对可控的范围内。

批归一化（Batch Normalization BN）

批归一化，顾名思义，它是在批（Batch）这个维度上进行归一化的。

它是怎么工作的？

在神经网络中，我们通常会将数据打包成一个个批次（Batch）进行训练，而不是一张一张地处理。批归一化就是利用一个批次中的所有样本数据，来计算均值和方差，然后用这些均值和方差来对批次中的每一个样本进行标准化。

具体来说，对于一个给定的层，我们关注其某一层的激活输出，这个输出通常是一个多维度的张量。批归一化会选择一个特定的维度（通常是特征通道维度），然后在批次（Batch）维度上，对该特征通道的激活值进行统计。

以一个卷积层为例，其输出可能是 `(batch_size, channels, height, width)` 的形状。批归一化会选择一个特定的通道（比如通道k），然后计算这个通道在整个批次（`batch_size`）上的均值和方差。对于这个通道内的每一个像素值（无论它是在`height`还是`width`维度上），都会用这个批次的均值和方差进行标准化。

$$ hat{x}^{(k)} = frac{x^{(k)} mu^{(k)}}{sqrt{sigma^{2,(k)} + epsilon}} $$

其中：
$x^{(k)}$ 是第k个通道的所有激活值。
$mu^{(k)}$ 是第k个通道在当前批次上的均值。
$sigma^{2,(k)}$ 是第k个通道在当前批次上的方差。
$epsilon$ 是一个很小的常数，用于避免除以零。

标准化之后，批归一化还会引入两个可学习的参数：缩放因子 ($gamma$) 和 偏移因子 ($eta$)。

$$ y^{(k)} = gamma^{(k)} hat{x}^{(k)} + eta^{(k)} $$

这两个参数的作用是允许模型学习一种“不归一化”的能力。如果模型发现不进行归一化或者进行不同的归一化方式更有利于学习，它可以调整 $gamma$ 和 $eta$ 来达到这个目的。例如，如果 $gamma$ 趋近于 $sigma$ 并且 $eta$ 趋近于 $mu$，那么归一化操作就几乎被抵消了。

核心特点和优势：

在批次维度上统计： 这是BN最核心的特点。它利用了批次内的信息。
降低内部协变量偏移（Internal Covariate Shift）： BN最重要的贡献之一。随着网络层参数的更新，前一层激活值的分布会发生变化，导致后续层的训练变得困难。BN通过对每一层的输入进行归一化，稳定了输入分布，缓解了这一问题。
加速收敛： 稳定的输入分布使得学习率可以设置得更高，从而加速训练过程。
提高泛化能力： BN在一定程度上引入了噪声（由于批次之间的统计差异），这种噪声类似于正则化，有助于提高模型的泛化能力。
对初始化不敏感： BN能够减轻模型对初始权重的依赖。

缺点和局限性：

依赖于批次大小： BN的性能与批次大小密切相关。当批次大小非常小时（例如，小于8），批次内的统计信息会变得非常不可靠，导致BN的效果显著下降，甚至可能损害模型性能。
在特定任务中不适用： 对于一些对样本特有统计信息敏感的任务，例如风格迁移（Style Transfer），BN的表现就不如人意。在风格迁移中，我们希望保持不同图像的风格特征（由均值和方差体现），而BN会将其抹平。
训练与测试时行为不一致： 在训练时，BN使用当前批次的均值和方差；在测试时，为了得到确定的输出，BN通常会使用在训练过程中全局（或移动平均）计算的均值和方差。这种不一致性有时会带来一些问题。

实例归一化（Instance Normalization IN）

实例归一化，它的核心思想是在实例（Instance）维度上进行归一化，而不是批次维度。

它是怎么工作的？

与BN不同，IN会对输入的每一个样本（Image）的每一个通道，在空间（Height x Width）维度上计算均值和方差，并进行标准化。

同样以卷积层输出 `(batch_size, channels, height, width)` 的形状为例。实例归一化会针对每一个样本（batch_size的每个元素），每一个通道（channels的每个元素），在高度（height）和宽度（width）这两个维度上计算均值和方差，然后对这个样本、这个通道中的所有像素点进行标准化。

$$ hat{x}^{(n,k)} = frac{x^{(n,k)} mu^{(n,k)}}{sqrt{sigma^{2,(n,k)} + epsilon}} $$

其中：
$x^{(n,k)}$ 是第n个样本的第k个通道的所有激活值（在H, W维度上）。
$mu^{(n,k)}$ 是第n个样本的第k个通道在空间维度上的均值。
$sigma^{2,(n,k)}$ 是第n个样本的第k个通道在空间维度上的方差。

同样，IN也引入了可学习的 $gamma$ 和 $eta$ 参数，用于缩放和偏移。

$$ y^{(n,k)} = gamma^{(k)} hat{x}^{(n,k)} + eta^{(k)} $$

注意，这里的 $gamma$ 和 $eta$ 是只与通道相关的，它们独立于样本。这意味着，对于同一个通道，无论是在哪个样本上，应用的 $gamma$ 和 $eta$ 都是相同的。

核心特点和优势：

在实例维度上统计： 这是IN最核心的特点。它完全独立于批次大小。
独立于批次大小： IN的性能不受批次大小的影响，这使得它在处理小批次数据时表现出色，或者在批次大小不固定的情况下表现稳定。
适用于风格相关的任务： IN在处理图像风格相关的任务（如风格迁移、图像生成）时表现优异。因为它对每个样本的通道独立进行统计，能够保留样本自身的统计特征（如风格），而BN会抹平这些风格信息。
训练与测试时行为一致： 无论是在训练还是测试阶段，IN都是对每个样本独立进行归一化，因此其行为是一致的。

缺点和局限性：

可能不足以完全缓解内部协变量偏移： 由于IN是在单个样本内部进行归一化，它可能不如BN那样有效地稳定跨批次样本之间的分布差异，因此在某些需要强大全局分布稳定的任务中，BN可能表现更好。
泛化能力可能不如BN： BN引入的跨样本统计噪声在一定程度上起到了正则化作用。IN由于独立处理每个样本，可能缺乏这种跨样本的正则化效应，从而在泛化能力上可能稍逊一筹（取决于具体任务）。

两者的对比总结：

| 特征 | 批归一化 (Batch Normalization BN) | 实例归一化 (Instance Normalization IN) |
| : | : | : |
| 归一化维度 | 批次 (Batch) 维度 | 实例 (Instance) 维度 |
| 统计计算 | 批次内，所有样本，所有空间位置（对每个通道） | 单个样本，所有空间位置（对每个通道） |
| 批次大小依赖 | 强依赖，小批次效果差 | 不依赖，对小批次友好 |
| 主要优势 | 降低内部协变量偏移，加速收敛，提高泛化能力（对图像分类等任务） | 适用于风格迁移等风格相关任务，不依赖批次大小 |
| 主要劣势 | 依赖批次大小，不适用于风格迁移等任务 | 可能不足以缓解全局分布偏移，泛化能力可能稍弱（某些任务） |
| 训练/测试一致性 | 不一致（测试时使用全局统计） | 一致（始终对单一样本统计） |
| 可学习参数 | $gamma, eta$ (每个通道一个) | $gamma, eta$ (每个通道一个) |

何时选择哪种？

图像分类、物体检测、语义分割等任务： BN通常是首选。这些任务更侧重于学习物体本身的特征，且对批次大小的容忍度较高。BN能够有效地稳定网络内部的激活分布，带来显著的性能提升。
风格迁移、图像生成、图像修复等任务： IN通常是更好的选择。这些任务的核心在于保留或操纵图像的风格，而风格往往体现在图像的统计特性上（均值和方差）。IN能够独立地处理每个样本的风格，而不会被批次内其他样本的风格所干扰。
小批量训练或批次大小不定的情况： IN是更鲁棒的选择，因为它不受批次大小的限制。

结论

BN和IN都是强大的工具，但它们的机制差异决定了它们在不同场景下的适用性。理解它们是如何进行归一化的（即在哪个维度上统计均值和方差），是选择正确方法的关键。随着深度学习的发展，还有许多其他的归一化方法被提出，例如 Layer Normalization (LN)、Group Normalization (GN) 等，它们各自也有其适用的场景。但BN和IN仍然是理解归一化技术最基础也最重要的两个范例。

私以为对这个的理解还是比较透彻的，恰好我们有几篇paper其实都是和这个问题相关的，所以来简答一下，希望能够帮助大家梳理清楚背后的本质。

BN和IN其实本质上是同一个东西，只是IN是作用于单张图片，但是BN作用于一个batch。但是为什么IN还会被单独提出，而且在Style Transfer的这个任务中大放异彩呢？简言之，这背后的逻辑链是这样的：

1. 通过调整BN统计量，或学习的参数beta和gamma，BN可以用来做domain adaptation。[1]

2. Style Transfer是一个把每张图片当成一个domain的domain adaptation问题。[2]

这恰恰分别对应了我和一位优秀实习生的两篇paper。以上其实都是对paper的一句话总结，下面稍微展开说一下具体内容。TLDR

在[1]中，我们提出了一个叫做adaBN的方法来做domain adaptation。其实adaBN做的事情看上去非常trivial：在拓展到未知的domain的时候，将BN的统计量在这个domain的unlabel data上重新计算一遍。如果用现有deep learning框架去实现的话，只需要一行就够。但是这样一个操作，可以带来相当显著的性能提升。究其原因，其实BN在做的事情就是将每个batch的数据归一化到standard Gaussian。我们在不同数据上计算统计量，可以将不同domain的数据分布的差异归一。

在[2]中，我们从style transfer中使用的Gram matrix出发，试图解释为什么Gram matrix可以代表一个图片的style这个问题。这是我看完style transfer的paper后感觉最为迷惑的一点。一个偶然的机会，我们发现这个匹配两张图的Gram matrix，其实数学上严格等价于极小化这两张图deep activation的2nd poly kernel的MMD距离。其中，MMD距离是用来通过从两个分布中sample的样本来衡量两个分布之间的差异的一种度量。所以本质上，style transfer这个paper做的事情就是将生成图片的deep activation分布和style image的分布进行匹配。这其实可以认为是一个domain adaptation的问题。所以很自然我们可以使用类似于adaBN的想法去做这件事情。这后续有一系列的工作拓展了这个想法，包括adaIN[3]以及若干基于GAN去做style transfer的工作。

不得不说，想明白这些之后，再去看style transfer的paper有一种神清气爽的感觉。我想这也就是我们要去探究“炼金术”背后的原理的一大原因。站在更general更高的角度去看待这些问题真的是一件让人身心愉悦的事情，而且很多后续的extension都是非常的直观。 :-)

[1] Li, Yanghao, Naiyan Wang, Jianping Shi, Jiaying Liu, and Xiaodi Hou. "Revisiting batch normalization for practical domain adaptation." arXiv preprint arXiv:1603.04779 (2016).

[2] Li, Yanghao, Naiyan Wang, Jiaying Liu, and Xiaodi Hou. "Demystifying neural style transfer." arXiv preprint arXiv:1701.01036 (2017).

[3] Huang, Xun, and Serge Belongie. "Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization." arXiv preprint arXiv:1703.06868 (2017).