谱归一化

Spectral normalization(谱归一化)是一种用于神经网络权重的归一化方法,旨在稳定生成对抗网络GAN中的训练过程。在谱归一化中,通过对权重矩阵进行特征值的调整,将权重矩阵的谱范数(即最大特征值)限制在一个固定的范围内。这有助于减少训练过程中权重矩阵的震荡和不稳定性,从而提高模型的训练稳定性和性能。

具体而言,谱归一化通过将权重矩阵的每一行除以该行的最大特征值(即谱范数),来对权重矩阵进行归一化。这样可以确保每一行的权重都被限制在一个较小的范围内,从而降低了权重矩阵的条件数,有助于防止梯度爆炸梯度消失等训练中的问题。

谱归一化已经被广泛用于 GAN 和其他深度学习模型中,以提高训练的稳定性和收敛速度。