1.1 零空间 $N(A)$ 的本质#

• 数学定义：满足 $Ax = 0$ 的所有解 $x$ 的集合。
• 几何本质：矩阵列向量的线性组合等于零向量。例如，若 $x = [1, 1, 1]^T$ 在 $N(A)$ 中，则表示 $1 \cdot c_1 + 1 \cdot c_2 + 1 \cdot c_3 = 0$，即列向量线性相关。
• 子空间性质：零空间对数乘 and 加法封闭，是一个真正的向量子空间。

1.2 列空间 $C(A)$ 与秩 (Rank)#

• 数学定义：矩阵所有列向量的线性组合构成的空间。
• 秩 $r$：主元 (pivots) 的个数，代表列空间中独立向量的数量。
• 几何形状：
  • $r=1$：穿过原点的直线。
  • $r=2$：穿过原点的平面。
  • $r=n$：充满整个 $n$ 维空间。

3.1 基础训练：列向量关系判定#

题目：若 $x = [1, 1, 1]^T$ 在 3x3 矩阵 $A$ 的零空间 $N(A)$ 中，列向量 $c_1, c_2, c_3$ 有何关系？

• 解析：由 $Ax=0$ 可知， $1 \cdot c_1 + 1 \cdot c_2 + 1 \cdot c_3 = 0$。这说明列向量线性相关，矩阵为奇异矩阵。

3.2 难点攻克：含参矩阵分析#

题目：给定 $A = \begin{bmatrix} 1 & 1 & 1 \\ 1 & 2 & 4 \\ 1 & 3 & a \end{bmatrix}$，求 $a$ 为何值时 $N(A)$ 存在非零向量？

• 关键点：高斯消元后，若要存在非零解（即存在自由变量），必须出现全零行。计算得出 $a=7$。
• 结论：当 $a=7$ 时，零空间向量为 $x = [1, -2, 1]^T$，对应列空间 $C(A)$ 是一个由前两列张成的 2D 平面。

3.3 抽象矩阵证明思路#

题目：证明若 $A^2 = 0$，则 $C(A) \subseteq N(A)$。

• 翻译机制：
  1. 若 $y \in C(A)$，则存在 $x$ 使得 $y = Ax$。
  2. 要证 $y \in N(A)$，只需证 $Ay = 0$。
  3. 带入得 $A(Ax) = A^2x = 0x = 0$。
• 结论延伸：由于 $C(A) \subseteq N(A)$，则维度满足 $r \le n-r$，即 $r \le n/2$。

4.1 通解公式#

$x = x_p + x_n$

• $x_p$ (Particular Solution)：特解，将解平移到正确位置。令所有自由变量为 0 即可快速求得。
• $x_n$ (Nullspace Solution)：零空间通解，代表解的延展方向。

4.2 案例演示：Gauss-Jordan 消元实操#

针对以下方程组： $\begin{bmatrix} 1 & 2 & 1 \\ 2 & 4 & 0 \\ 3 & 6 & 1 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix} = \begin{bmatrix} 2 \\ 2 \\ 4 \end{bmatrix}$

通过初等行变换化为 最简行阶梯形 (RREF)： $\begin{bmatrix} 1 & 2 & 0 & | & 1 \\ 0 & 0 & 1 & | & 1 \\ 0 & 0 & 0 & | & 0 \end{bmatrix}$

完整解： $x = \begin{bmatrix} 1 \\ 0 \\ 1 \end{bmatrix} + c \begin{bmatrix} -2 \\ 1 \\ 0 \end{bmatrix}$

1. 对角化 (Diagonalization)#

• 公式： $A = S \Lambda S^{-1}$
• 前提： 必须拥有 $n$ 个线性无关的特征向量。
• 本质： 在特征基底视角下，错综复杂的空间变换被完美解耦为 $n$ 个独立方向的纯缩放。

2. 若尔当标准型 (Jordan Form)#

• 公式： $A = M J M^{-1}$
• 适用： 所有的方阵（包括特征向量缺失的残疾/退化矩阵）。
• 结构： $J$ 是由若尔当块组成的准对角阵。
• 终极判决： 一个若尔当块，不论尺寸多大，永远只能提供 1 个特征向量。若尔当块的数量 = 系统中真实独立特征向量的数量。

3. 奇异值分解 (Singular Value Decomposition, SVD)#

• 公式： $A = U \Sigma V^T$
• 适用： 任意 $m \times n$ 矩阵，线性代数最普适的终极解药。
• 代数构造：
  • $V$ 是 $A^T A$ 的标准化特征向量矩阵（属于原空间的完美正交基）。
  • $U$ 是 $AA^T$ 的标准化特征向量矩阵（属于目标空间的完美正交基）。
  • $\Sigma$ 的对角线元素 $\sigma_i = \sqrt{\lambda_i(A^T A)}$，代表拉伸的绝对倍数。
• 几何意义： 任何复杂的变形 $A$，都等价于：旋转 ($V^T$) $\to$ 独立拉伸 ($\Sigma$) $\to$ 再旋转 ($U$)。

1. 线性变换的判别#

真正的线性变换必须满足叠加原理：$T(cv + dw) = cT(v) + dT(w)$

• 致命法则： $T(0)$ 必须等于 $0$。原点偏移（如平移 $T(v) = v + v_0$）绝不是线性变换。

2. 基底锁定全宇宙#

• 如果想知道一个线性变换对全宇宙任意点 $v$ 的效果，不需要全场追踪。
• 只需要追踪基底的落点（例如 $T(v_1), T(v_2) \dots$）。
• 矩阵 $A$ 就是这本记录册！ 矩阵的每一列，就是空间基础网格（基向量）被变换后落下的坐标。

3. 预测未来：常微分方程组#

• 系统方程： $\frac{du}{dt} = Au$
• 时间演化公式： $u(t) = e^{At}u(0)$
• 特征值解耦降维打击： $e^{At} = S e^{\Lambda t} S^{-1}$
• 通过特征值看透系统宿命：
  • 实部 $< 0$：能量衰减，系统归于死寂。
  • 实部 $> 0$：能量爆炸，系统发散崩溃。
  • 纯虚数 ($a=0, b \neq 0$)：能量守恒，永无止境的周期性震荡。

第一轮求解：代入 $\lambda_1 = 45$#

1. 构造 $(M - \lambda I)$ 矩阵： 把主对角线上的数字减去 $45$： $M - 45I = \begin{bmatrix} 25 - 45 & 20 \\ 20 & 25 - 45 \end{bmatrix} = \begin{bmatrix} -20 & 20 \\ 20 & -20 \end{bmatrix}$

2. 解齐次线性方程组 $(M - 45I)x = 0$： $\begin{bmatrix} -20 & 20 \\ 20 & -20 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix}$ 展开得到两个方程：

1. $-20x_1 + 20x_2 = 0$
2. $20x_1 - 20x_2 = 0$

可以看出，这两行表达的是同一个意思（这就是特征值使矩阵退化的必然结果）。化简后得到： $x_1 = x_2$ 为了取最简单的整数解，我们令 $x_1 = 1, x_2 = 1$。 得到基础特征向量：$v_{base1} = \begin{bmatrix} 1 \\ 1 \end{bmatrix}$

3. 标准化（极其关键！SVD 要求向量长度必须为 1）：

• 算长度：$\|v_{base1}\| = \sqrt{1^2 + 1^2} = \sqrt{2}$
• 缩放向量：将原向量除以长度。 $v_1 = \begin{bmatrix} 1/\sqrt{2} \\ 1/\sqrt{2} \end{bmatrix}$

第二轮求解：代入 $\lambda_2 = 5$#

1. 构造 $(M - \lambda I)$ 矩阵： 把主对角线上的数字减去 $5$： $M - 5I = \begin{bmatrix} 25 - 5 & 20 \\ 20 & 25 - 5 \end{bmatrix} = \begin{bmatrix} 20 & 20 \\ 20 & 20 \end{bmatrix}$

2. 解方程组 $(M - 5I)x = 0$： $\begin{bmatrix} 20 & 20 \\ 20 & 20 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix}$ 两行完全一样：$20x_1 + 20x_2 = 0$。化简后得到： $x_1 = -x_2$ 取最简单的一组整数解，令 $x_1 = -1, x_2 = 1$。（当然你选 $1$ 和 $-1$ 也完全可以）。 得到基础特征向量：$v_{base2} = \begin{bmatrix} -1 \\ 1 \end{bmatrix}$

3. 标准化：

• 算长度：$\|v_{base2}\| = \sqrt{(-1)^2 + 1^2} = \sqrt{2}$
• 缩放向量： $v_2 = \begin{bmatrix} -1/\sqrt{2} \\ 1/\sqrt{2} \end{bmatrix}$

拼装矩阵 $V^T$#

最后，把算出来的 $v_1$ 和 $v_2$ 按照列拼成正交矩阵 $V = \begin{bmatrix} \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{bmatrix}$。

因为 SVD 公式 $A=U\Sigma V^T$ 里需要的是转置矩阵 $V^T$，我们把它的行和列对调一下： $V^T = \begin{bmatrix} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{bmatrix}$

为了满足正交矩阵长度为 $1$ 的要求，我们直接写出标准化后的特征向量：

• 对应 $\lambda_1 = 45$ 的向量：$v_1 = \begin{bmatrix} 1/\sqrt{2} \\ 1/\sqrt{2} \end{bmatrix}$
• 对应 $\lambda_2 = 5$ 的向量：$v_2 = \begin{bmatrix} -1/\sqrt{2} \\ 1/\sqrt{2} \end{bmatrix}$

把它们拼成右奇异矩阵 $V$。在公式中我们需要的是 $V^T$（按行排布）： $V^T = \begin{bmatrix} 1/\sqrt{2} & 1/\sqrt{2} \\ -1/\sqrt{2} & 1/\sqrt{2} \end{bmatrix}$

(1)#

行列 $A$ の固有値を $\lambda$ とすると、特性方程式は次のように表される。

これを解くと、固有値は $\lambda = \frac{1 \pm \sqrt{5}}{2}$ となる。

次に、それぞれの固有値に対する固有ベクトルを求める。 $\lambda_1 = \frac{1 + \sqrt{5}}{2}, \lambda_2 = \frac{1 - \sqrt{5}}{2}$ とおく。

$\lambda_1 = \frac{1 + \sqrt{5}}{2}$ のとき $(A - \lambda_1 I)\boldsymbol{v} = \boldsymbol{0}$ より、

よって、$v_1 - \frac{1 + \sqrt{5}}{2} v_2 = 0$ が得られる。 したがって、対応する固有ベクトルは $c_1 \begin{pmatrix} \frac{1 + \sqrt{5}}{2} \\ 1 \end{pmatrix} \quad (c_1 \neq 0)$ となる。

$\lambda_2 = \frac{1 - \sqrt{5}}{2}$ のとき $(A - \lambda_2 I)\boldsymbol{v} = \boldsymbol{0}$ より、

よって、$v_1 - \frac{1 - \sqrt{5}}{2} v_2 = 0$ が得られる。 したがって、対応する固有ベクトルは $c_2 \begin{pmatrix} \frac{1 - \sqrt{5}}{2} \\ 1 \end{pmatrix} \quad (c_2 \neq 0)$ となる。

以上より、固有値と固有ベクトルは以下の通りである。

• 固有値 $\frac{1 + \sqrt{5}}{2}$ に対する固有ベクトル: $c_1 \begin{pmatrix} \frac{1 + \sqrt{5}}{2} \\ 1 \end{pmatrix} \quad (c_1 \neq 0)$
• 固有値 $\frac{1 - \sqrt{5}}{2}$ に対する固有ベクトル: $c_2 \begin{pmatrix} \frac{1 - \sqrt{5}}{2} \\ 1 \end{pmatrix} \quad (c_2 \neq 0)$

(2)#

(1) で求めた固有ベクトル $\boldsymbol{v}_1 = \begin{pmatrix} \frac{1 + \sqrt{5}}{2} \\ 1 \end{pmatrix}, \boldsymbol{v}_2 = \begin{pmatrix} \frac{1 - \sqrt{5}}{2} \\ 1 \end{pmatrix}$ は一次独立であるため、これらを基底として $\begin{pmatrix} x \\ y \end{pmatrix}$ を表すことができる。 実数 $\alpha, \beta$ を用いて、

と表すとする。このとき、$A^n \begin{pmatrix} x \\ y \end{pmatrix}$ は次のように計算できる。

ここで、$n \to \infty$ の極限を考える。 $\lambda_1 = \frac{1 + \sqrt{5}}{2} \approx 1.618 > 1$ であるため、$\lambda_1^n$ は発散する。 一方、$\lambda_2 = \frac{1 - \sqrt{5}}{2} \approx -0.618$ であり、$|\lambda_2| < 1$ であるため、$\lambda_2^n \to 0 \quad (n \to \infty)$ となる。

したがって、$\lim_{n \to \infty} A^n \begin{pmatrix} x \\ y \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \end{pmatrix}$ が成り立つためには、発散する項の係数 $\alpha$ が $0$ でなければならない。

$\alpha = 0$ のとき、

となる。$\begin{pmatrix} x \\ y \end{pmatrix}$ は非ゼロであるため、$\beta \neq 0$ である。 よって、求める非ゼロのベクトル $\begin{pmatrix} x \\ y \end{pmatrix}$ は、

である。

(3)#

$A$ を $m \times n$ 行列、$B$ を $l \times n$ 行列とする。 仮定より、$A\boldsymbol{x} = \boldsymbol{0}$ を満たすベクトル $\boldsymbol{x}$ は必ず $B\boldsymbol{x} = \boldsymbol{0}$ を満たす。 すなわち、行列 $A$ の核 (Null space) を $\ker(A)$、行列 $B$ の核を $\ker(B)$ とすると、

が成り立つ。 これより、それぞれの核の次元 (Nullity) について以下の不等式が成り立つ。

ここで、次元定理 (Rank-Nullity Theorem) より、任意の $k \times n$ 行列 $M$ について、

が成り立つ。行列 $A$ と $B$ はともに $n$ 列の行列であるため、

となる。これらを変形して不等式に代入すると、

が示された。

English:

Let $A$ be an $m \times n$ matrix and $B$ be an $l \times n$ matrix. By assumption, any vector $\boldsymbol{x}$ satisfying $A\boldsymbol{x} = \boldsymbol{0}$ also satisfies $B\boldsymbol{x} = \boldsymbol{0}$. That is, if we denote the null space (kernel) of $A$ and $B$ as $\ker(A)$ and $\ker(B)$ respectively, then:

$\ker(A) \subseteq \ker(B)$

This implies the following inequality for the dimensions of the kernels (nullities):

$\dim(\ker(A)) \le \dim(\ker(B))$

From the Rank-Nullity Theorem, for any $k \times n$ matrix $M$:

$\text{rank}(M) + \dim(\ker(M)) = n$ Since matrices $A$ and $B$ both have $n$ columns, we have:

$$\begin{aligned} \text{rank}(A) + \dim(\ker(A)) &= n \\ \text{rank}(B) + \dim(\ker(B)) &= n \end{aligned}$$

Substituting these into the inequality:

$n - \text{rank}(A) \le n - \text{rank}(B) \implies \text{rank}(A) \ge \text{rank}(B)$

This completes the proof.

(4)#

仮定より $\ker(A) \subseteq \ker(B)$ である。 任意の部分空間 $V$ について、その直交補空間を $V^\perp$ と表す。包含関係の直交補空間をとると、包含関係が逆転するため、

が成り立つ。 任意の行列について、その核の直交補空間は行空間 (Row space) と一致する。すなわち、行列 $M$ の行空間を $R(M)$ とすると、$\ker(M)^\perp = R(M)$ である。 これを用いると、上の包含関係は次のように表せる。

これは、行列 $B$ のすべての行ベクトルが、行列 $A$ の行ベクトルの線形結合として表せることを意味する。 行列 $A$ の $j$ 番目の行ベクトルを $\boldsymbol{a}_j^T \quad (j=1, \dots, m)$ とし、行列 $B$ の $i$ 番目の行ベクトルを $\boldsymbol{b}_i^T \quad (i=1, \dots, l)$ とすると、 任意の $i$ について、あるスカラー $c_{ij}$ が存在して、

と表せる。 ここで、$c_{ij}$ を $(i, j)$ 成分に持つ $l \times m$ 行列を $C$ と定義する。 このとき、行列の積 $CA$ の第 $i$ 行は $\sum_{j=1}^{m} c_{ij} \boldsymbol{a}_j^T$ となり、これは $\boldsymbol{b}_i^T$ に等しい。 よって、$B = CA$ が成り立つ。 以上より、$B = CA$ を満たす $l \times m$ 実行列 $C$ が存在することが示された。

English:

For any subspace $V$, let $V^\perp$ denote its orthogonal complement. Taking the orthogonal complement of both sides reverses the inclusion relation:

$\ker(B)^\perp \subseteq \ker(A)^\perp$

For any matrix, the orthogonal complement of its null space is its row space. That is, if $R(M)$ is the row space of matrix $M$, then $\ker(M)^\perp = R(M)$. Thus, the inclusion can be rewritten as:

$R(B) \subseteq R(A)$

This means every row vector of matrix $B$ can be expressed as a linear combination of the row vectors of matrix $A$. Let $\boldsymbol{a}_j^T \quad (j=1, \dots, m)$ be the $j$-th row vector of $A$, and $\boldsymbol{b}_i^T \quad (i=1, \dots, l)$ be the $i$-th row vector of $B$.

$\boldsymbol{b}_i^T = \sum_{j=1}^{m} c_{ij} \boldsymbol{a}_j^T$

Define an $l \times m$ matrix $C$ where the $(i, j)$-th entry is $c_{ij}$. Then, the $i$-th row of the product $CA$ is $\sum_{j=1}^{m} c_{ij} \boldsymbol{a}_j^T$, which equals $\boldsymbol{b}_i^T$. Therefore, $B = CA$ holds.

This proves that there exists an $l \times m$ real matrix $C$ satisfying $B = CA$.

第一步：准备好弹药 ($A$, $A^T$, $b$)#

已知我们的原矩阵 $A$ 和目标向量 $b$： $A = \begin{bmatrix} 1 & 0 \\ 1 & 1 \\ 1 & 2 \end{bmatrix}, \quad b = \begin{bmatrix} 3 \\ 4 \\ 1 \end{bmatrix}$

首先，写出 $A$ 的转置 $A^T$（把列变成行）： $A^T = \begin{bmatrix} 1 & 1 & 1 \\ 0 & 1 & 2 \end{bmatrix}$

第二步：组装对称正定方阵 ($A^T A$)#

这是最神奇的一步！无论 $A$ 原本有多么高瘦不规则，乘以自己的转置后，必定会生出一个完美的、可逆的对称方阵。 $A^T A = \begin{bmatrix} 1 & 1 & 1 \\ 0 & 1 & 2 \end{bmatrix} \begin{bmatrix} 1 & 0 \\ 1 & 1 \\ 1 & 2 \end{bmatrix}$

• 第一行乘第一列：$1\times1 + 1\times1 + 1\times1 = \mathbf{3}$
• 第一行乘第二列：$1\times0 + 1\times1 + 1\times2 = \mathbf{3}$
• 第二行乘第一列：$0\times1 + 1\times1 + 2\times1 = \mathbf{3}$
• 第二行乘第二列：$0\times0 + 1\times1 + 2\times2 = \mathbf{5}$

所以，$A^T A = \begin{bmatrix} 3 & 3 \\ 3 & 5 \end{bmatrix}$ (看到了吗？主对角线两侧都是 3，完美的对称矩阵！)

第三步：转化目标向量 ($A^T b$)#

对目标 $b$ 进行同样的降维打击： $A^T b = \begin{bmatrix} 1 & 1 & 1 \\ 0 & 1 & 2 \end{bmatrix} \begin{bmatrix} 3 \\ 4 \\ 1 \end{bmatrix}$

• 第一行乘 $b$：$1\times3 + 1\times4 + 1\times1 = \mathbf{8}$
• 第二行乘 $b$：$0\times3 + 1\times4 + 2\times1 = \mathbf{6}$

所以，$A^T b = \begin{bmatrix} 8 \\ 6 \end{bmatrix}$

第四步：解救 $\hat{x}$ (求解正规方程)#

现在，原本那个无解的 $3 \times 2$ 绝境，被我们完美转化成了一个极其标准的 $2 \times 2$ 线性方程组： $\begin{bmatrix} 3 & 3 \\ 3 & 5 \end{bmatrix} \begin{bmatrix} \hat{C} \\ \hat{D} \end{bmatrix} = \begin{bmatrix} 8 \\ 6 \end{bmatrix}$