type
status
date
slug
summary
tags
category
icon
password
特征值分解与SVD
对于特殊的矩阵来说 ( 实对称矩阵) , 特征分解是最好的选择。但是对于其他矩阵来说，特征值可能是复数或者无法对角化；并且对于非方阵而言无法对角化。那么更宽泛的分解方法就是SVD。所以对于对称矩阵来说，特征值分解就是奇异值分解。
回顾特征值的定义：
x 被称为 A 的特征向量， 被称为 特征值。
而奇异值的定义也是类似的，A 是 一个 m * n 的 秩为 r 的矩阵
其中， 是 A 的 r 个奇异值（奇异值均大于0），而 是 A 的 nullspace 中的向量， 是 的 null space 中的向量。
SVD 的两种形式
用矩阵的形式就可以表示为：
其中 A 是 一个 m * n 的 秩为 r 的矩阵，V 是 n * n 的正交矩阵，U 是 m * m 的正交矩阵，此时 是一个 的非方阵。
因此，A 的 奇异值分解为
对于SVD，还有一种表示形式，称为 reduced form of SVD，此时的 是一个 的 满秩方阵，其对角就是 r 个 奇异值。
此时，V 和 U 都不是方阵，形状分别为 并且
但是要注意，
此时 A 的 SVD 仍然为
对于后半部分，每一个项都是一个矩阵，因此 A 被表示为了 r 个 矩阵的和，并且这 r 个 矩阵也有重要的性质。
根据 Eckart-Young theorem：前 k 项的和的矩阵是矩阵 A 的最佳 k 阶近似。
正式表述为：
SVD 的证明
线性代数的一个小结论：
- 由于 所以
- 的零空间等于A的零空间
- 若 则
- 若 ，
- 再根据解空间的维数与秩的关系 dim(Nullspace(M)) = n - rank(M) 可得：
- 同理可证
综上，得证
由于 都是对称半正定矩阵（ 因为根据半正定的定义：对于任意 都有 ），那么可以利用这个性质归约到特征值分解。
重要结论和思路如下，详细证明可见 Gilbert Strang 的 教科书 Linear Algebra and Learning from Data.
- 是 A 的行空间的一个标准正交基
- 是 A 的列空间的一个标准正交基
对于实对称矩阵A的特征值分解 来说，Q 的列向量是 的一个标准正交基。然而A不一定是满秩的，说明了 Q 的列向量不是 A 的行空间的标准正交基，这是因为 Q 也包含了 A 的零空间中的基向量。
其实由A的行空间 和A的零空间 两个空间组成的。这是因为行空间与零空间是正交子空间（列空间与左零空间 是正交子空间），这也是为什么齐次线性方程组 的解空间的维数 。以上就是Strang教授强调的4个基本子空间。
所以 Q 的列向量是由 r 个A的行空间的基向量和 n - r 个A的零空间的基向量拼成的，具体来说，Q的列向量都是正交的单位特征向量，分别与 中的特征值对应，0特征值对应的特征向量就位于零空间中。
这一点也沿袭到SVD中，SVD的 V中的 是 A 的行空间的一个标准正交基， 是A的零空间的一个标准正交基（U中的 是 A 的列空间的一个标准正交基， 是 A 的左零空间 的一个标准正交基）
SVD 的几何直观解释
暂时省略
Psuedo-inverse
对于无法求逆的矩阵 ，可以定义伪逆
对于伪逆，有以下性质：
- 如果 在 A 的行空间中：
- 如果 在 A 的列空间中：
- 和 的零空间相等
- 如果 A 可逆，则 等于
伪逆可以通过SVD计算
对于对角矩阵的伪逆，非零对角元求倒数，0对角元不变，最后再进行转置。
证明
先证明第一条性质，即对于行空间中的向量 有 :
由于 x 在 A 的行空间中，则存在向量 k 使得
设 A 的 SVD 分解为
代入得到：
是一个 的矩阵， 是一个 的矩阵，根据伪逆的定义
其中 r 是矩阵 A 的秩，也是 A 的奇异值的个数。
那么根据对角矩阵乘法的性质
所以原式等于
对于第二条性质，证明也同理。
伪逆的理解
在教材中，Strang教授总结得就很好，A是从行空间到列空间， 是从列空间到行空间。和4个基本字空间联系得很巧妙。
Least Norm
伪逆可以求解最小二乘问题，伪逆还有一个独特的性质，通过伪逆求得的 是所有解中范数最小的。这是因为A的列空间和A的左零空间是正交子空间，所以任何在空间中的向量都可以分解为这两个空间中的向量的和。
🖇️ 参考文献
- Gilbert Strang. Linear Algebra and Learning from Data. I.8
- Gilbert Strang. Linear Algebra and Learning from Data. II.1
- Author:FlowerMouse
- URL:https://tangly1024.com/article/SVD
- Copyright:All articles in this blog, except for special statements, adopt BY-NC-SA agreement. Please indicate the source!
