长方形矩阵的列空间和行空间是什么关系？

长方形矩阵的列空间和行空间是线性代数中非常重要的概念，它们之间存在着深刻而重要的关系，这些关系对于理解矩阵的性质、解决线性方程组以及进行各种矩阵运算至关重要。

我们将从定义出发，详细讲解它们之间的关系。

1. 定义回顾

首先，我们回顾一下列空间和行空间的定义：

列空间 (Column Space)：一个 $m imes n$ 的矩阵 $A$ 的列空间，记作 $Col(A)$ 或 $Im(A)$ (像空间)，是矩阵 $A$ 的所有列向量的线性组合所形成的向量空间。换句话说，它是矩阵 $A$ 的列向量张成的子空间。
如果 $A = [mathbf{a}_1, mathbf{a}_2, dots, mathbf{a}_n]$，其中 $mathbf{a}_i$ 是 $m$ 维列向量，那么 $Col(A) = ext{span}{mathbf{a}_1, mathbf{a}_2, dots, mathbf{a}_n}$。
列空间是 $mathbb{R}^m$（或者说 $m$ 维向量空间）的子空间。

行空间 (Row Space)：一个 $m imes n$ 的矩阵 $A$ 的行空间，记作 $Row(A)$ 或 $C(A^T)$，是矩阵 $A$ 的所有行向量的线性组合所形成的向量空间。换句话说，它是矩阵 $A$ 的行向量张成的子空间。
如果 $A$ 的行向量是 $mathbf{r}_1, mathbf{r}_2, dots, mathbf{r}_m$，那么 $Row(A) = ext{span}{mathbf{r}_1, mathbf{r}_2, dots, mathbf{r}_m}$。
行空间是 $mathbb{R}^n$（或者说 $n$ 维向量空间）的子空间。

2. 核心关系：维度（秩）

最重要的关系是它们的维度相等，这个维度被称为矩阵的秩 (Rank)。

秩 (Rank)：矩阵 $A$ 的秩是其列空间的维度，也等于其行空间的维度。记作 $ ext{rank}(A)$。

$ ext{rank}(A) = dim(Col(A)) = dim(Row(A))$

为什么维度相等？

这个事实可以通过初等行变换（Elementary Row Operations）来理解。初等行变换包括：

1. 交换两行。
2. 将某一行乘以一个非零常数。
3. 将某一行的一个倍数加到另一行上。

初等行变换不会改变矩阵的行空间和列空间。更准确地说：

初等行变换不改变行空间： 行空间是由行向量张成的，而初等行变换只是对行向量进行线性组合或重新排列，所以它们生成的向量空间是相同的。
初等行变换不改变列空间的线性依赖关系： 虽然初等行变换会改变列向量本身，但它改变列向量的方式是全局一致的。如果原始矩阵的列向量存在某种线性依赖关系（例如，某个列是其他列的线性组合），那么经过初等行变换后，新的列向量仍然保持着这种线性依赖关系。因此，生成列空间的基的个数是不变的。

通过对矩阵 $A$ 进行初等行变换，我们可以将其化为行阶梯形矩阵（Row Echelon Form）或简化行阶梯形矩阵（Reduced Row Echelon Form, RREF）。我们称这个矩阵为 $U$。

$A xrightarrow{ ext{初等行变换}} U$

关于行空间： $Row(A) = Row(U)$。在行阶梯形矩阵 $U$ 中，非零行向量的个数就是其秩。这些非零行向量构成了一个基，所以 $dim(Row(U)) = ext{rank}(A)$。因此，$dim(Row(A)) = ext{rank}(A)$。

关于列空间： 虽然 $Col(A) eq Col(U)$（因为列向量本身发生了变化），但是列空间的维度是不变的。在行阶梯形矩阵 $U$ 中，主元（pivot）所在的列（即包含第一个非零元素且该元素上方和下方都为零的列，或者更简单地，第一个非零元素所在的列）对应着原始矩阵 $A$ 中线性无关的列向量。这些原始矩阵 $A$ 中的列向量构成了 $Col(A)$ 的一个基。主元所在的列的个数恰好等于非零行的个数（也等于秩）。
因此，$dim(Col(A)) = ext{rank}(A)$。

所以，无论是行空间还是列空间，它们的维度都等于矩阵的秩。

3. 与零空间的关系：行空间和列空间的互补性

零空间 (Null Space)：矩阵 $A$ 的零空间，记作 $Null(A)$ 或 $ ext{ker}(A)$ (核)，是所有满足 $Amathbf{x} = mathbf{0}$ 的向量 $mathbf{x}$ 的集合。零空间是 $mathbb{R}^n$ 的子空间。
对于 $m imes n$ 矩阵 $A$，零空间是 $mathbb{R}^n$ 的子空间。
$dim(Null(A)) = n ext{rank}(A)$ (零度定理，或称为秩零度定理)。

左零空间 (Left Null Space)：矩阵 $A$ 的左零空间，记作 $Null(A^T)$ 或 $ ext{ker}(A^T)$，是所有满足 $A^Tmathbf{y} = mathbf{0}$ 的向量 $mathbf{y}$ 的集合。左零空间是 $mathbb{R}^m$ 的子空间。
对于 $m imes n$ 矩阵 $A$，左零空间是 $mathbb{R}^m$ 的子空间。
$dim(Null(A^T)) = m ext{rank}(A)$。

现在我们看它们之间的关系：

列空间与左零空间的正交补关系：
对于任何一个 $m imes n$ 矩阵 $A$，有：
$Col(A) = (Null(A^T))^{perp}$ （列空间等于左零空间的直交补）
$Null(A^T) = (Col(A))^{perp}$ （左零空间等于列空间的直交补）

这表示：
1. 列空间中的任何向量，与左零空间中的任何向量都正交（点积为零）。
原因：如果 $mathbf{v} in Col(A)$，那么 $mathbf{v} = Amathbf{x}$ 对于某个 $mathbf{x} in mathbb{R}^n$。如果 $mathbf{y} in Null(A^T)$，那么 $A^Tmathbf{y} = mathbf{0}$。
则 $mathbf{v} cdot mathbf{y} = mathbf{v}^Tmathbf{y} = (Amathbf{x})^Tmathbf{y} = mathbf{x}^T A^T mathbf{y} = mathbf{x}^T mathbf{0} = 0$。

2. $mathbb{R}^m$ 可以分解为列空间和左零空间的直和： $mathbb{R}^m = Col(A) oplus Null(A^T)$。
这意味着任何一个 $m$ 维向量 $mathbf{b}$ 都可以唯一地表示为一个在列空间中的向量和一个在左零空间中的向量之和。
这是因为 $dim(Col(A)) + dim(Null(A^T)) = ext{rank}(A) + (m ext{rank}(A)) = m = dim(mathbb{R}^m)$，并且它们是正交的，因此是直和。

行空间与零空间的正交补关系：
对于任何一个 $m imes n$ 矩阵 $A$，有：
$Row(A) = (Null(A))^{perp}$ （行空间等于零空间的直交补）
$Null(A) = (Row(A))^{perp}$ （零空间等于行空间的直交补）

这表示：
1. 行空间中的任何向量，与零空间中的任何向量都正交。
原因：如果 $mathbf{u} in Row(A)$，那么 $mathbf{u} = A^Tmathbf{y}$ 对于某个 $mathbf{y} in mathbb{R}^m$（这是因为行空间是 $A^T$ 的列空间）。或者更直观地说，如果 $mathbf{u}$ 是行向量的线性组合，那么 $mathbf{u}^T$ 是列向量的线性组合。如果 $mathbf{x} in Null(A)$，那么 $Amathbf{x} = mathbf{0}$。
我们通常将行向量看作行向量。一个行向量 $mathbf{r}$ 可以看作一个 $1 imes n$ 的矩阵。
若 $mathbf{r} in Row(A)$，则 $mathbf{r}$ 可以写成 $mathbf{r} = mathbf{c}^T A$ 对于某个 $1 imes m$ 的向量 $mathbf{c}$。
若 $mathbf{x} in Null(A)$，则 $Amathbf{x} = mathbf{0}$。
则 $mathbf{r} cdot mathbf{x} = mathbf{r}mathbf{x} = (mathbf{c}^T A)mathbf{x} = mathbf{c}^T (Amathbf{x}) = mathbf{c}^T mathbf{0} = 0$。

2. $mathbb{R}^n$ 可以分解为行空间和零空间的直和： $mathbb{R}^n = Row(A) oplus Null(A)$。
这意味着任何一个 $n$ 维向量 $mathbf{x}$ 都可以唯一地表示为一个在行空间中的向量和一个在零空间中的向量之和。
这是因为 $dim(Row(A)) + dim(Null(A)) = ext{rank}(A) + (n ext{rank}(A)) = n = dim(mathbb{R}^n)$，并且它们是正交的，因此是直和。

4. 与线性方程组 $Amathbf{x} = mathbf{b}$ 的关系

这些关系与求解线性方程组 $Amathbf{x} = mathbf{b}$ 紧密相关。

解的存在性： 方程组 $Amathbf{x} = mathbf{b}$ 有解当且仅当向量 $mathbf{b}$ 位于矩阵 $A$ 的列空间 $Col(A)$ 中。即 $mathbf{b} in Col(A)$。
这是因为 $Amathbf{x}$ 本身就是矩阵 $A$ 的列向量的线性组合，所以 $Amathbf{x}$ 的结果一定在 $Col(A)$ 中。

解的结构： 如果 $Amathbf{x} = mathbf{b}$ 有解（记一个特解为 $mathbf{x}_p$），那么其通解的形式为：
$mathbf{x} = mathbf{x}_p + mathbf{x}_h$
其中 $mathbf{x}_p$ 是一个特解，而 $mathbf{x}_h$ 是齐次方程组 $Amathbf{x} = mathbf{0}$ 的所有解，也就是零空间 $Null(A)$ 中的所有向量。
这再次印证了 $mathbb{R}^n = Row(A) oplus Null(A)$ 的分解。如果存在一个 $mathbf{x}_p$ 使得 $Amathbf{x}_p = mathbf{b}$，那么我们将 $mathbf{x}_p$ 分解到 $Row(A)$ 和 $Null(A)$ 中。

5. 总结

| 概念 | 定义 | 所在空间 | 维度 | 与其他空间的关系 |
| : | : | : | : | : |
| 列空间 $Col(A)$ | $A$ 的列向量张成的空间 | $mathbb{R}^m$ | $ ext{rank}(A)$ | $Col(A) = (Null(A^T))^{perp}$ (与左零空间正交)；$mathbb{R}^m = Col(A) oplus Null(A^T)$；$Amathbf{x}=mathbf{b}$ 有解当且仅当 $mathbf{b} in Col(A)$ |
| 行空间 $Row(A)$ | $A$ 的行向量张成的空间 | $mathbb{R}^n$ | $ ext{rank}(A)$ | $Row(A) = (Null(A))^{perp}$ (与零空间正交)；$mathbb{R}^n = Row(A) oplus Null(A)$ |
| 零空间 $Null(A)$ | $Amathbf{x} = mathbf{0}$ 的解的集合 | $mathbb{R}^n$ | $n ext{rank}(A)$ | $Null(A) = (Row(A))^{perp}$ (与行空间正交) |
| 左零空间 $Null(A^T)$ | $A^Tmathbf{y} = mathbf{0}$ 的解的集合 | $mathbb{R}^m$ | $m ext{rank}(A)$ | $Null(A^T) = (Col(A))^{perp}$ (与列空间正交) |

核心要点：

1. 秩相等是根本： 列空间的维度等于行空间的维度，这个公共维度就是矩阵的秩。
2. 正交补是关键： 行空间与零空间是其所在空间（$mathbb{R}^n$）的正交直和，列空间与左零空间是其所在空间（$mathbb{R}^m$）的正交直和。这提供了对向量空间的结构性理解。
3. 线性方程组的解释： 这些关系直接解释了线性方程组的解的存在性（通过列空间）和解的结构（通过零空间）。

理解这些关系，我们就能从不同角度把握矩阵的性质。例如，矩阵的秩告诉我们它“压缩”向量的能力，零空间告诉我们它会把哪些向量“压缩”到零。列空间则描述了矩阵运算的“输出”的范围。

行、列秩相等，可知由行向量生成的空间与列向量生成的空间维数相等，在同构意义下，两空间是一样的。