前言

核心内容来自博客链接1博客连接2希望大家多多支持作者
本文记录用，防止遗忘

批量归一化batch normalization

课件

批量归一化

1、损失出现在最后，后面的层训练较快
2、数据在最底部

• 底部的层训练较慢
• 底部层一变化，所有都得跟着变
• 最后的那些层需要重新学习多次
• 导致收敛变慢
• 我们可以在学习底部层的时候避免变化顶部层吗?

  固定小批量里面的均值和方差

  $${\mu }_B=\frac{1}{|B|}\sum _{i\in B}{x}_i$$
  $${\sigma }_B^2=\frac{1}{|B|}\sum _{i\in B}(x_i-{\mu }_B{)}^2+ϵ$$

  然后再做额外的调整（可学习的参数）
  $$x_{i+1}=\gamma \frac{x_i-{\mu }_B}{{\sigma }_B}+\beta$$

  批量归一化层

  可学习的参数为$\gamma$和$\beta$
  作用在
  ·全连接层和卷积层输出上，激活函数前
  ·全连接层和卷积层输入上
  对全连接层，作用在特征维
  对于卷积层，作用在通道维

  批量归一化在做什么？

  1、最初论文是想用它来减少内部协变量转移
  2、后续有论文指出它可能就是通过在每个小批量里加入噪音来控制模型复杂度
  3、因此没必要跟丢弃法混合使用

  总结

  1、批量归—化固定小批量中的均值和方差，然后学习出适合的偏移和缩放
  2、可以加速收敛速度，但一般不改变模型精度

  教材

  训练深层神经网络是十分困难的，特别是在较短的时间内使他们收敛更加棘手。 在本节中，我们将介绍批量规范化（batch normalization）。这是一种流行且有效的技术，可持续加速深层网络的收敛速度。 再结合后面将介绍的残差块，批量规范化使得研究人员能够训练100层以上的网络。

  1 训练深层网络

  为什么需要批量规范化层呢？让我们来回顾一下训练神经网络时出现的一些实际挑战。

  首先，数据预处理的方式通常会对最终结果产生巨大影响。 回想一下我们应用多层感知机来预测房价的例子。 使用真实数据时，我们的第一步是标准化输入特征，使其平均值为0，方差为1。 直观地说，这种标准化可以很好地与我们的优化器配合使用，因为它可以将参数的量级进行统一。

  第二，对于典型的多层感知机或卷积神经网络。当我们训练时，中间层中的变量（例如，多层感知机中的仿射变换输出）可能具有更广的变化范围：不论是沿着从输入到输出的层，跨同一层中的单元，或是随着时间的推移，模型参数的随着训练更新变幻莫测。 批量规范化的发明者非正式地假设，这些变量分布中的这种偏移可能会阻碍网络的收敛。 直观地说，我们可能会猜想，如果一个层的可变值是另一层的100倍，这可能需要对学习率进行补偿调整。

  第三，更深层的网络很复杂，容易过拟合。 这意味着正则化变得更加重要。

  批量规范化应用于单个可选层（也可以应用到所有层），其原理如下：在每次训练迭代中，我们首先规范化输入，即通过减去其均值并除以其标准差，其中两者均基于当前小批量处理。 接下来，我们应用比例系数和比例偏移。 正是由于这个基于批量统计的标准化，才有了批量规范化的名称。

  请注意，如果我们尝试使用大小为1的小批量应用批量规范化，我们将无法学到任何东西。 这是因为在减去均值之后，每个隐藏单元将为0。 所以，只有使用足够大的小批量，批量规范化这种方法才是有效且稳定的。 请注意，在应用批量规范化时，批量大小的选择可能比没有批量规范化时更重要。

  从形式上来说，用$\mathbf{x}\in \mathcal{B}$表示一个来自小批量$\mathcal{B}$的输入，批量规范化$\mathrm{B}\mathrm{N}$根据以下表达式转换$\mathbf{x}$：
  $$\mathrm{B}\mathrm{N}(\mathbf{x})=\mathbf{\gamma }\odot \frac{\mathbf{x}-{\hat{\mathbf{\mu }}}_{\mathcal{B}}}{{\hat{\mathbf{\sigma }}}_{\mathcal{B}}}+\mathbf{\beta }.$$

  在上式中，${\hat{\mathbf{\mu }}}_{\mathcal{B}}$是小批量$\mathcal{B}$的样本均值，${\hat{\mathbf{\sigma }}}_{\mathcal{B}}$是小批量$\mathcal{B}$的样本标准差。 应用标准化后，生成的小批量的平均值为0和单位方差为1。 由于单位方差（与其他一些魔法数）是一个主观的选择，因此我们通常包含拉伸参数（scale）$\mathbf{\gamma }$和偏移参数（shift）$\mathbf{\beta }$，它们的形状与$\mathbf{x}$相同。 请注意，$\mathbf{\gamma }$和$\mathbf{\beta }$是需要与其他模型参数一起学习的参数。

  由于在训练过程中，中间层的变化幅度不能过于剧烈，而批量规范化将每一层主动居中，并将它们重新调整为给定的平均值和大小（通过${\hat{\mathbf{\mu }}}_{\mathcal{B}}$和${\hat{\mathbf{\sigma }}}_{\mathcal{B}}$）。

  从形式上来看，我们计算出式中的${\hat{\mathbf{\mu }}}_{\mathcal{B}}$和${\hat{\mathbf{\sigma }}}_{\mathcal{B}}$，如下所示：

  
  请注意，我们在方差估计值中添加一个小的常量$ϵ>0$，以确保我们永远不会尝试除以零，即使在经验方差估计值可能消失的情况下也是如此。估计值${\hat{\mathbf{\mu }}}_{\mathcal{B}}$和${\hat{\mathbf{\sigma }}}_{\mathcal{B}}$通过使用平均值和方差的噪声（noise）估计来抵消缩放问题。 你可能会认为这种噪声是一个问题，而事实上它是有益的。

  事实证明，这是深度学习中一个反复出现的主题。 由于尚未在理论上明确的原因，优化中的各种噪声源通常会导致更快的训练和较少的过拟合：这种变化似乎是正则化的一种形式。 在一些初步研究中， [Teye et al., 2018]和 [Luo et al., 2018]分别将批量规范化的性质与贝叶斯先验相关联。 这些理论揭示了为什么批量规范化最适应$50\sim 100$范围中的中等批量大小的难题。

  另外，批量规范化层在”训练模式“（通过小批量统计数据规范化）和“预测模式”（通过数据集统计规范化）中的功能不同。 在训练过程中，我们无法得知使用整个数据集来估计平均值和方差，所以只能根据每个小批次的平均值和方差不断训练模型。 而在预测模式下，可以根据整个数据集精确计算批量规范化所需的平均值和方差。

  2 批量规范化层

  回想一下，批量规范化和其他层之间的一个关键区别是，由于批量规范化在完整的小批量上运行，因此我们不能像以前在引入其他层时那样忽略批量大小。 我们在下面讨论这两种情况：全连接层和卷积层，他们的批量规范化实现略有不同。

  2.1 全连接层

  通常，我们将批量规范化层置于全连接层中的仿射变换和激活函数之间。 设全连接层的输入为x，权重参数和偏置参数分别为$\mathbf{W}$和$\mathbf{b}$，激活函数为$\varphi$，批量规范化的运算符为$\mathrm{B}\mathrm{N}$。 那么，使用批量规范化的全连接层的输出的计算详情如下：$$\mathbf{h}=\varphi (\mathrm{B}\mathrm{N}(\mathbf{W}\mathbf{x}+\mathbf{b})).$$
  回想一下，均值和方差是在应用变换的”相同”小批量上计算的。

  2.2 卷积层

  同样，对于卷积层，我们可以在卷积层之后和非线性激活函数之前应用批量规范化。 当卷积有多个输出通道时，我们需要对这些通道的“每个”输出执行批量规范化，每个通道都有自己的拉伸（scale）和偏移（shift）参数，这两个参数都是标量。 假设我们的小批量包含$m$个样本，并且对于每个通道，卷积的输出具有高度$p$和宽度$q$。 那么对于卷积层，我们在每个输出通道的$m\cdot p\cdot q$个元素上同时执行每个批量规范化。 因此，在计算平均值和方差时，我们会收集所有空间位置的值，然后在给定通道内应用相同的均值和方差，以便在每个空间位置对值进行规范化。

  2.3 预测过程中的批量规范化

  正如我们前面提到的，批量规范化在训练模式和预测模式下的行为通常不同。 首先，将训练好的模型用于预测时，我们不再需要样本均值中的噪声以及在微批次上估计每个小批次产生的样本方差了。 其次，例如，我们可能需要使用我们的模型对逐个样本进行预测。 一种常用的方法是通过移动平均估算整个训练数据集的样本均值和方差，并在预测时使用它们得到确定的输出。 可见，和暂退法一样，批量规范化层在训练模式和预测模式下的计算结果也是不一样的。

  3 从零实现

  下面，我们从头开始实现一个具有张量的批量规范化层。

  import torch
  from torch import nn
  from d2l import torch as d2l
  
  
  def batch_norm(X, gamma, beta, moving_mean, moving_var, eps, momentum):
      # 通过is_grad_enabled来判断当前模式是训练模式还是预测模式
      if not torch.is_grad_enabled():
          # 如果是在预测模式下，直接使用传入的移动平均所得的均值和方差
          X_hat = (X - moving_mean) / torch.sqrt(moving_var + eps)
      else:
          assert len(X.shape) in (2, 4)
          if len(X.shape) == 2:
              # 使用全连接层的情况，计算特征维上的均值和方差
              mean = X.mean(dim=0)
              var = ((X - mean) ** 2).mean(dim=0)
          else:
              # 使用二维卷积层的情况，计算通道维上（axis=1）的均值和方差。
              # 这里我们需要保持X的形状以便后面可以做广播运算
              mean = X.mean(dim=(0, 2, 3), keepdim=True)
              var = ((X - mean) ** 2).mean(dim=(0, 2, 3), keepdim=True)
          # 训练模式下，用当前的均值和方差做标准化
          X_hat = (X - mean) / torch.sqrt(var + eps)
          # 更新移动平均的均值和方差
          moving_mean = momentum * moving_mean + (1.0 - momentum) * mean
          moving_var = momentum * moving_var + (1.0 - momentum) * var
      Y = gamma * X_hat + beta  # 缩放和移位
      return Y, m