194

网址：linear.neocities.org 邮箱：876152660@qq.com

第四章

正交性质

4.1 四个子空间的正交性质

1 正交向量有 vTw = 0，则 || v ||

2 + || w ||

2 = || v + w ||

2 = || v w ||

2。

2 若子空间 V 中的每个 v 与子空间 W 中的每个 w 都存在 vTw = 0，则子空间 V

与子空间 W 正交。

3 A 的行空间与零空间正交，列空间与 N(AT)正交。

4 一组维度配对相加得到 r + (n r) = n，另一组相加是 r + (m r) = m。

5 行空间与零空间是“正交补充”：��的每个 x 分成 xrow + xnull。

6 假设空间 S 的维度是 d，则 S 的每组基底包含 d 个向量。

7 若空间 S 的 d 个向量无关，这些向量生成 S。若 d 个向量生成 S，则这些向量

无关。

两个向量的点积为零，则两个向量正交：v w = vTw = 0。本章转移到正交子

空间与正交基底以及正交矩阵。在两个子空间中的向量，在一组基底的向量以及

Q 中的列向量，前述所有的向量配对都是正交。想起直角三角形有 a2 + b

2 = c

2，

其中三角形的边是 v 与 w。

正交向量 vTw = 0 且 || v ||

2 + || w ||

2 = || v + w ||

2

当 vTw = w

Tv = 0，直角边(v + w)

T(v + w)等于 v

Tv + w

Tw。

第三章的子空间在阐述 Ax = b，现在我们需要列空间与零空间，聚光转到 AT，

揭开另外两个子空间，这 4 个子空间显示了矩阵实际在做什么。

矩阵乘向量：A 乘 x。第一层次只有数字，第二层次 Ax 是列向量的组合，第

三层次展示了子空间。但是我不认为你已经看到全貌，直到你研读了图 4.2。

195

请尊重版权与译者的劳动成果，侵权必究！

子空间适配在一起显示 A 乘 x 的潜在真实性，两个子空间之间的 90角是新

的主题我们现在可以说直角代表什么意义。

行空间与零空间垂直，A 的每个行与 Ax = 0 的每个解垂直，得到图形左侧的

90角。这个子空间的垂直性是线性代数基础定理的第二部分。

列空间与 AT 的零空间垂直，当 b 在列空间之外当我们想要求解 Ax = b 却

做不到时此时 AT 的零空间就会显示出独特的优势，它包含“最小平方”解的

误差 e = b Ax，最小平方是线性代数在本章中的关键应用。

基础定理的第一部分给定子空间的维度，行与列空间有相同的维度 r (他们吸

取相同大小)，两个零空间有剩下的维度 n r 与 m r。现在我们证明行空间与零

空间是 nR 中的正交子空间。

定义 向量空间的两个子空间 V 与 W，如果 V 中的每个向量 v 都与 W 中的每个

向量 w 垂直，则 V 与 W 正交：

正交子空间 V 中的所有 v 与 W 中的所有 w 都有 vTw = 0。

范例 1 你房间的地板(延申至无限)是一个子空间 V，两面墙的交线是子空间W (1

维)，这两个子空间正交。墙与墙的交线上的向量与地板的每个向量垂直。

范例 2 两面墙看起来是垂直，但是这两个子空间没有正交！交线同时在 V 与

W这条直线与本身并没有垂直。两个平面(在��中，维度是 2 与 2)不可能是正

交子空间。

当一个向量同时在两个正交子空间中，它必须是零，它垂直于本身。它是 v

也是 w，所以 vTv = 0，这个只能是零向量。

正交平面 V 与直线 W 非正交平面

图 4.1：当 dim V + dim W > dim (整个空间)，不可能正交。

线性代数重要的范例来自 4 个基础子空间，零是零空间与行空间唯一的交点，此

外，A 的零空间与行空间是 90交会。关键的事实直接来自 Ax = 0：

196

网址：linear.neocities.org 邮箱：876152660@qq.com

Ax = 0，A 的零空间中的每个向量 x 与 A 的每一行垂直。零空间 N(A)与

行空间 C(AT)是Rn中的正交子空间。

要了解为什么 x 与这些行正交，检视 Ax = 0，每个行乘 x：

(1)

方程式 1 说明行 1 与 x 垂直，最后方程式说明行 m 与 x 垂直。每一行与 x 的点积

都是零，x 也与行的每个组合垂直。整个行空间 C(AT)与零空间 N(A)是正交。

此处提供喜欢矩阵缩写的读者第二种证明，行空间的向量是行的组合 ATy，

计算 ATy 与零空间的 x 的点积，这些向量互相垂直：

零空间与行空间正交 xT (AT

y) = (Ax)T y = 0Ty = 0 (2)

我们喜欢第一个证明，你可以从方程式(1)看到 A 的这些行乘 x 得到零，第二个证

明展示了为什么 A 与 AT都在基础定理中。

范例 3 矩阵 A 的行与零空间中的 x = (1, 1, 1)垂直：

0

0

1

1

1

725431

Ax 得到点积 0725

0431

现在回到另外两个子空间。在本例中，列空间是全部的��，A

T的零空间只有零向

量(与所有向量正交)，A 的列空间与 AT的零空间永远是正交子空间。

AT的零空间中的每个向量 y 与 A 的每一列垂直，左零空间 N(A

T)与

列空间 C(A)在Rm中正交。

对 AT应用原始的证明，A

T的零空间与 AT的行空间正交A

T的行空间就是 A 的列

空间。证明完毕。

视觉化的证明：检视 ATy = 0，A 的每一列乘 y 得到 0：

C(A)N(AT) A

Ty =

m

0

0

)(

)1(

T

T

y

列

列

⋯ (3)

y 与 A 的每一列的点积是零，则左零空间中的 y 与 A 的每一列垂直也就是与整

个列空间垂直。

(1

是零行

是零行

行

行

m

m

A

x

x

xx

)(

)( 1

0

01

⋮⋮

197

请尊重版权与译者的劳动成果，侵权必究！

图 4.2：两对(pairs)正交子空间，维度总和是 n与m。这是大图两个子空间在Rn中，

两个子空间在Rm中。

正交补充

重要 基础子空间不止是正交(成对)而已，他们的维度也是恰当的。R3中的两条

直线可能垂直，但是这些直线不可能是 33 矩阵的行空间与零空间。两条直线的

维度是 1 与 1，加起来是 2，但是正确的维度 r 与 n r 加起来必须等于 3。

33 矩阵的基础子空间的维度有 2 与 1，或是 3 与 0。这些子空间配对不只是

正交，他们还是正交补充。

定义 子空间 V 的正交补充包含每个与 V 垂直的向量，这个正交子空间写

成 V (读成 V perp)。

基于这个定义，零空间是行空间的正交补充，每个垂直行的 x 满足 Ax = 0，

并且落在零空间中。

反向也是成立的，如果 v 与零空间正交，它必须在行空间中，否则我们可以

把 v 加入矩阵作为一个额外的行，而没有改变它的零空间。行空间会变大，破坏

r + (n r) = n 的法则。我们的结论是零空间补充 N(AT) 确切是行空间 C(A

T)。

同样的方式，左零空间与列空间在Rm中正交，他们是正交补充，他们的维度

r 与 m r 相加得到满维度 m。

维度

维度

维度 维度

A 的行

空间

A 的列

空间

A 的零

空间

AT 的零

空间

198

网址：linear.neocities.org 邮箱：876152660@qq.com

线性代数基础定理，第二部分

N(A)是行空间 C(AT)的正交补充(在R)

N(AT)是列空间 C(A)的正交补充(在Rm)

第一部分给定子空间的维度，第二部分给定他们之间的 90角。“补充”的重

点在于每一个 x 可以分成一个行空间分量 xr 与一个零空间分量 xn。图 4.3 显示 Ax

= Axr + Axn 发生了什么:

零空间分量走到零：Axn = 0。

行空间分量走到列空间：Axr = Ax。

每个向量都走到列空间！左乘 A 不能做其他事情，除此之外：列空间中的每个向

量 b 来自行空间中的一个而且是唯一的向量 xr。证明：若 Axr = Axr，两者的差

xr xr 会在零空间中，它也会在行空间中，因为 xr 与 xr都来自行空间。两者的

差必须为零向量，这是因为零空间与行空间互相垂直，因此 xr = xr。

如果我们抛开两个零空间，在 A 中隐藏一个 rr 的可逆矩阵。从行空间到列

空间，A 是可逆。“伪逆反(pseudoinverse)”会逆反段落 7.4 中 A 的那部分。

范例 4 每个秩 r 的矩阵有一个 rr 的可逆子矩阵：

50

03

000000005000003

A 包含子矩阵

其他 11 个 0 负责零空间。B 的秩也是 r = 2：

41

31

654216542154321

B 包含 在枢轴行与列

当我们选择了正确的Rn与Rm的基底，每个矩阵都可以对角化，这个“奇异值分解

(singular value decomposition)”在应用上已经变得非常重要。

让我重复一个清晰的事实，A 的行不可能在 A 的零空间中 (除了零行之外)，

两个正交子空间中都存在的向量只有零向量。

如果一个向量 v 与本身正交，则 v 一定是零向量。

199

请尊重版权与译者的劳动成果，侵权必究！

图 4.3：这是图 4.2 的更新图，显示 A 对于 x = xr + xn 的真实作用。行空间向量 xr

到列空间，零空间向量 xn 到零。

画出大图

我不知道画出在图 4.2 与 4.3 的 4 个子空间的最佳方法，这张大图必须显示这些

子空间的正交性质。我能够看到一个可能的方法去做这件事情，就是一条线与一

个平面的交会可能图 4.4 也显示了这些空间是无限的，比图 4.3 的矩形要更清

晰。但是我该如何在R4画出一对 2 维的子空间，去展示他们彼此之间是正交? 欢

迎提供好点子。

图 4.4：A 的行空间 = 平面，零空间 = 正交直线，维度 2 + 1= 3。

与行正交

A 的零空间

方向

行的

所有组合 列的

所有组合

所有与列

正交的向量 所有与行

正交的向量

200

网址：linear.neocities.org 邮箱：876152660@qq.com

从子空间组合基底

接下来是一些关于基底的有价值事实，他们一直储存到现在当我准备好使用他

们。一个星期以后你对于基底是什么(线性无关的向量生成空间)，就会有一个清

晰的观念。正常情形下要检验两个性质，当计数是正确的，一个性质就可以推论

至另一个性质：

Rn中任何 n 个无关向量必然生成Rn，所以他们是一组基底。

生成Rn的任何 n 个向量必然无关，所以他们是一组基底。

从向量的正确个数开始，基底的一个性质产生另一个性质。对于任意的向量

空间来说这是真实的，但是我们会关注Rn更多。当这些向量进入 nn 方形矩阵 A

的列时，有两个相同的事实：

若 A 的 n 个列是无关，他们生成Rn，所以 Ax = b 有解。

若这 n 个列生成Rn，他们是无关，所以 Ax = b 有唯一解。

唯一性推论到存在性而且存在性也推论到唯一性，则 A 是可逆的。如果不存在自

由变数，解 x 是唯一，此时必须有 n 个枢轴，然后利用反向代入法求解 Ax = b (存

在解)。

从反向开始，假设对于每个 b，Ax = b 都有解(存在解)，消元法不会得到零行，

有 n 个枢轴，没有自由变数，零空间只包含 x = 0 (唯一性)。

对于行空间与零空间的基底来说，我们有 r + (n r) = n 个向量，这是正确的

数字，这 n 个向量是无关 2，因此他们生成Rn。

每个 x 是 xr + xn 的总和，其中 xr 來自行空间，xn 來自零空间。

范例 5 A =

63

21

把 x =

3

4分成 xr + xn =

4

2+

1

2。

向量(2, 4)在行空间中，正交向量(2, 1)在零空间中。下个段落会计算对于任意 A

与 x 的分割，使用投影法(projection)。 【原文没有 footnote 1】

2若全部 n 个向量的组合得到 xr + xn = 0，则 xr = xn同时在两个空间，所以 xr = xn =

0。行空间与零空间的基底的所有系数必须为零，证明了这 n 个向量在一起是无关。

201

请尊重版权与译者的劳动成果，侵权必究！

主要观念的复习

1. 如果 V 中的每个 v 都与 W 中的每个 w 正交，则子空间 V 与 W 正交。

2. 如果 W 包含所有与 V 垂直的向量(反之亦然)，则 V 与 W 是“正交补充”。

3. 零空间 N(A)与行空间 C(AT)是正交补充，维度是 (n r) + r = n。相似的，

N(AT)与 C(A)是正交补充，维度是 (m r) + r = m。

4. Rn中任何 n 个无关向量生成Rn，任何 n 个生成向量必然无关。

已解范例

4.1A 假设 S 是 9 维空间R9中的 6 维子空间。

(a) 与 S 正交的子空间的可能维度是多少？

(b) S 的正交补充 S 的可能维度是多少？

(c) 矩阵 A 的行空间是 S，则 A 可能的最小大小(smallest size)为何？

(d) 矩阵 B 的零空间是 S，则 B 可能的最小大小为何？

解

(a) 若 S 是R9的 6 维子空间，与 S 正交的子空间的可能维度是 0, 1, 2, 3。

(b) 正交补充 S是最大的正交子空间，维度是 3。

(c) 最小的矩阵 A 是 69 (它的 6 个行是 S 的一组基底) 。

(d) 答案与(c)相同。

如果 B 的新行 7 是 A 的 6 个行的组合，则 B 与 A 有相同的行空间，也有相同

的零空间。Ax = 0 的特殊解 s1, s2, s3 与 Bx = 0 的特殊解相同。消元法会把 B 的第

7 行变成全部是零。

4.1B 方程式 x 3y 4z = 0 描述了R3的一个平面 P (实际是个子空间)。

(a) 平面 P 是哪个 13 矩阵 A 的零空间 N(A)？答案：A = [1 3 4]。

(b) 找出 x 3y 4z = 0的特殊解的基底 s1与 s2。(这些是零空间矩阵N的列)。

答案：s1 = (3, 1, 0)与 s2 = (4, 0, 1)。

(c) 找出垂直 P 的直线 P的一组基底。答案：(1, 3, 4)。

202

网址：linear.neocities.org 邮箱：876152660@qq.com

问题集 4.1

问题 1-12 图 4.2 与 4.3 的四个子空间的发展。

1 写出任意 23 的秩 1 矩阵，复制图 4.2，在每个子空间中放置一个向量(零空

间中放两个。) 哪些向量是正交?

2 对 32 秩 r = 2 的矩阵重画图 4.3，哪个子空间是 Z(只有零向量)? R2中任意向

量 x 的零空间部分 xn = ________。

3 写出一个满足要求的矩阵，或是说明为何不可能？

(a) 列空间包含

5

3

2

3

2

1

与 ，零空间包含

1

1

1

(b) 行空间包含

5

3

2

3

2

1

与 ，零空间包含

1

1

1

(c) Ax =

1

1

1

有一个解且 AT

0

0

0

001

。

(d) 每一行与每一列正交 (A 不是零矩阵)

(e) 全部列相加得到一列的零，全部行相加得到一行的 1’s。

4 若 AB = 0，则 B 的列在 A 的______中，A 的行在 B 的______中。AB = 0，为

什么 A 与 B 不可能是秩 2 的 33 矩阵。

5 (a) 若 Ax = b 有一个解且 ATy = 0，则(y

T x = 0)或是(y

T b = 0)?

(b) 若 ATy = (1, 1, 1)有一个解且 Ax = 0，则_____________。

6 方程式系统 Ax = b 无解(他们得到 0 = 1)：

9543

5322

522

zyx

zyx

zyx

求出数字 y1, y2, y3 分别乘方程式相加后得到 0 = 1，你会发现向量 y 在哪个子

空间？它的点积 yT

b 是 1，所以 x 无解。

7 每个无解的系统就像问题 6 一样，存在数字 y1, ..., ym 分别乘 m 个方程式，相

加后得到 0 = 1。这个称为“Fredholm’s 替代(alternative)”：

下列问题中恰好只有一个问题有一个解

Ax = b 或 ATy = 0 且 y

T b 是 1

若 b 不在 A 的列空间中，它与 AT的零空间就不正交。分别用数字 y1, y2, y3 乘

方程式 x1 x2 = 1 与 x2 x3 = 1 与 x1 x3 = 1，选取适当的 y’s 使得方程式相加

得到 0 = 1。

203

请尊重版权与译者的劳动成果，侵权必究！

8 在图 4.3 中，我们如何知道 Axr等于 Ax？我们如何知道这个向量在列空间中？

若 A =

11

11

与 x =

0

1，求 xr。

9 若 ATAx = 0 则 Ax = 0。理由：Ax 在 A

T的零空间中，也在 A 的_______中且

这些空间是______。结论：ATA 与 A 有相同的零空间。下个段落会重复这个

关键事实。

10 假设 A 是对称矩阵(AT = A)。

(a) 为什么它的列空间与它的零空间垂直？

(b) 若 Ax = 0 与 Az = 5z，哪个子空间包含“固有向量”x 与 z ?

对称矩阵有垂直的固有向量 xT z = 0。

11 (推荐) 画出图 4.2，正确的展示每个子空间：

A =

0301

6321

B 与

12 找出片段 xr 与 xn 并且正确画出图 4.3，如果

A =

0

2

000011

x 与

问题 13-23 有关正交子空间。

13 把子空间 V 与 W 的基底放进矩阵 V 与 W 的列，说明为什么正交子空间的测

试可以写成 VTW = 0 矩阵? 这也符合正交向量的 v

Tw = 0。

14 地板 V 与墙 W 不是正交子空间，因为他们共享一个相同的非零向量(沿着交

线的向量)，没有R3中的平面 V 与平面 W 可以正交！找出下列两个矩阵的列

空间的一个向量：

A =

153645

213121

B 与

这会是一个向量 Ax 以及 B x̂。想象 34 的矩阵[A B]。

15 延申问题 14 至Rn的一个 p 维的子空间 V 与一个 q 维的子空间 W，什么样的 p

+ q 的不等式确保 V 与 W 的交集是非零向量? 这些子空间不可能正交。

16 利用方程式(2)的矩阵缩写，证明 N(AT)中每一个 y 与列空间中每一个 Ax 垂直。

从 ATy = 0 开始。

204

网址：linear.neocities.org 邮箱：876152660@qq.com

17 若R3的子空间 S 只包含零向量，S为何？若 S 由(1, 1, 1)生成，S

为何？若 S

由(1, 1, 1)与(1, 1, 1)生成，S的一组基底为何？

18 假设 S只包含两个向量(1, 5, 1)与(2, 2, 2) (不是子空间)，则 S是矩阵A = _____

的零空间。尽管 S 不是子空间，但是 S是子空间。

19 假设 L 是R3的一维子空间(一条直线)，它的正交补充 L是垂直 L 的_______。

则(L)是垂直 L

的_______。事实上(L)与_______相同。

20 假设 V 是整个空间R4，V只包含_____向量，则(V

)是_______，所以(V

)

与_______相同。

21 假设 S 由向量(1, 2, 2, 3)与(1, 3, 3, 2)生成，找出两个向量生成 S，这相当于求

解 Ax = 0，求 A？

22 假设R4的平面 P 满足 x1 + x2 + x3 + x4 = 0，写出 P的一组基底，写出把 P 作

为零空间的矩阵。

23 假设子空间 V 包含子空间 S，证明 S包含 V

。

问题 24-30 有关垂直列与行。

24 假设一个 nn 矩阵可逆：A A1

= I，则 A1 的第一列与 A 的哪些行生成的空间

正交？

25 假设 A 的列是单位向量且全部互相垂直，求 ATA。

26 建立 33 矩阵 A，其中 A 没有 0 单元且它的列互相垂直，计算 ATA。为什么

它是对角矩阵?

27 直线 3x + y = b1 与 6x + 2y = b2 是_______。如果______，他们是同一条线，这

个情况下(b1, b2)与向量_____垂直。矩阵的零空间是直线 3x + y = ____，这个

零空间中的一个特定向量是______。

28 为什么下列的叙述是错误的?

(a) (1, 1, 1)与(1, 1, 2)垂直，所以 x + y + z = 0与 x + y 2z = 0是正交子空间。

(b) (1, 1, 0, 0, 0)与(0, 0, 0, 1, 1)生成的子空间，是(1, 1, 0, 0, 0)与(2, 2, 3, 4,

4)生成的子空间的正交补充。

(c) 交集只有零向量的两个子空间正交。

29 求出一个矩阵使得 v (1, 2, 3)同时在矩阵的行空间与列空间中。找出另一个矩

阵使得 v 同时在零空间与列空间中。v 不能同时在哪些子空间的配对?

205

请尊重版权与译者的劳动成果，侵权必究！

挑战问题

30 假设 A 是 34 与 B 是 45 且 AB = 0，所以 N(A)包含 C(B)。由 N(A)与 C(B)的

维度证明 rank(A) + rank (B) 4。

31 指令 N = null(A) 会得到 A 的零空间的一组基底。则指令 B = null(N)会得到 A

的______的一组基底。

32 假设我给你 4 个R2的非零向量 r, n, c, l :

(a) 要想成为 22 矩阵的 4 个基础子空间 C(AT), N(A), C(A), N(A

T)的基底，这些

向量要有什么条件？

(b) 可能的的矩阵 A 为何？

33 假设我给你 8 个R4的向量 r1, r2, n1, n2, c1, c2, l 1, l 2 :

(a) 要想成为 44 矩阵的 4 个基础子空间的基底，这些向量要有什么条件？

(b) 可能的矩阵 A 为何？