人们是如何想到奇异值分解的？ 第1页

研究奇异值分解的动机和其应用确实是两个不同的问题。估计大家对奇异值分解的应用更感兴趣一点，这个问题不会有多少人关注。不过这是个好问题，值得认真回答一下。

人们研究矩阵分解有两类动机。一类是为了求解线性方程组

这类矩阵分解有LU分解（高斯消去法），Cholesky分解，QR分解（Gram-Schmidt正交化过程）等等，本质上是为了更方便更稳定的求解矩阵A的逆

另外一类是为了研究双线性形式（bilinear form）

其中 ， 和 是两个向量空间， 是一个数域。这类矩阵分解有Jordan分解，Schur三角分解，特征值分解，奇异值分解等等。研究双线性形式的目的之一是为了寻找标准型（canonical form）。我们分别从 和 中找到一组标准正交基 和 ，那么任意向量 和 就可以用基下的坐标来表示：

那么

令 。如果我们能找到一组 和 ，使得 尽可能结构简单（对角矩阵，上三角矩阵，块对角矩阵），那么我们就可以称 为标准型。奇异值分解，就可以从研究双线性形式的极值问题中得到。

记上述等式约束的极大值优化问题为(1)式。我们写出它的KKT条件：

记上式为(2)。则我们可以得到最大值为

同理

所以 。

联立(2)式中的两个等式为线性方程组形式

记上式为(3)。我们需要找(3)的非零解，这说明系数矩阵必然奇异，也就是说其行列式为0

记上式多项式为(4)。假设 是多项式的一个根，则我们可以带入(3)式中，找到一组解

现在把 和 这两个单位向量分别扩充成向量空间 和 的一组标准正交基（用Gram-Schmidt正交化过程就可以实现）：

那么向量空间 和 中任意的向量都可以用 和 下的坐标分别表示：

并且双线性形式和(2)式也可以相应表示成

记上式为(5)。我们想知道新双线性形式中 的结构。注意到

把 ， 和 带入(5)式中可以得到

这说明 的第一行和第一列只有第(1,1)个元素是非零元

因此

对矩阵 不断重复上面这个过程，最终可以得到一个对角矩阵 ，使得 。

上述这个推导过程是由Camille Jordan提出的（我稍微修改了部分），他和Eugenio Beltrami各自独立的对奇异值分解作出开创性的研究工作。除了这两位数学家之外，Sylvester，Schmidt和Weyl也各自对奇异值分解进行研究。后两位数学家是从积分方程的角度研究，奇异值这个词实际上是从积分中得名的。Sylvester最早是把奇异值称为标准乘子（canonical multipliers），也就是标准型上的对角元素。其他的推导方式参考最后文献。

数学家为什么会对标准型的研究如此热衷呢？原因之一我们对数学结构中的不变量很感兴趣，而标准型则是在保持不变量的前提下，将形式化归为最简。如果我们能得知一个矩阵 的奇异值分解，那么 和 的核空间(null space)和像空间(range space)都可以非常容易被表示出来，给关于矩阵的理论分析带来极大的便利。并且，在实际数值计算上，存在高效稳定的算法，用来进行奇异值分解。这一点要归功于数学家Gene Golub在40多年前的伟大工作。

郑宁：奇异值的物理意义是什么？

参考文献：G. W. Stewart, On the Early History of the Singular Value Decomposition，SIAM Rev., 35(4), 551–566.