第五章
内积空间
5.1 Rn上之长度与点积
5.2 内积空间
5.3 单范正交基底:Gram-Schmidt过程
5.4 数学模型与最小平方分析
5.1 Rn上之长度与点积
长度 (length)
在Rn上向量 的长度可能表示为
注意:长度的性质(向量的长度不能为负数)
为单位向量 (unit vector)
注意:向量的长度也可以称为范数 (norm)
范例 1:
(a)在R5上, 的长度
(b)在R3上, 的长度
(因为长度为1,所以v是单位向量)
Rn的标准单位向量 (standard unit vector)
和 同方向(same direction)
和 反方向(opposite direction)
注意:两非零向量互相平行 (parallel)
范例:
R2上的标准单位向量:
R3上的标准单位向量:
定理 5.1:纯量乘积的长度
令v为Rn上的向量,而c是一纯量,则
证明:
定理 5.2:在v方向上的单位向量
若v是Rn中一个非零的向量,则下列向量
表示长度为1且与v同方向.向量u可称为在v方向上的单位向量 (unit vector in the direction of v)
证明:
v不为零向量
(与v为同方向)
(u的长度为1)
注意:
(1) 向量 可称为在v方向上的单位向量 (unit vector in the direction of v)
(2) 这个在v方向上找单位向量的过程称为单范化 (normalizing)向量v
范例 2:求单位向量
求在 方向上的单位向量,并证明其长度为1
为单位向量
解:
两个向量间的距离 (distance)
在Rn上u与v两个向量间的距离为
注意:距离的性质
(1)
(2) 若且唯若
(3)
范例 3:求两向量间的距离
两向量 与 间的距离为
Rn的点积 (dot product)
在Rn上 与 的点积为
范例 4:求两向量间的点积
两向量 与 间点积是
定理 5.3:向量点积的性质
若u, v与w为Rn上的向量且c为一纯量,
则以下的性质成立
(1)
(2)
(3)
(4)
(5) , 此外 若且唯若
欧基里德n维空间 (Euclidean n-space)
Rn被定义为所有有序n项实数对的集合.当Rn结合了
向量加法,纯量乘积,向量长度与点积这些标准运
算后所构成的向量空间,我们称为欧基里德n维空间
解:
范例 5:求点积
求解下列问题
; (b) ; (c) ;
(d) ; (e)
范例 6:使用点积的性质
已知
解:
求解
范例 7:科西 - 舒瓦兹不等式的例子
用 与 来证明科西 - 舒瓦兹
不 等式
定理 5.4:科西 - 舒瓦兹不等式(Cauchy - Schwarz inequality)
若u与v为Rn上的向量,则
( 代表 的绝对值)
解:
Rn上两个非零向量的夹角 (angle)
注意:
零向量与其他向量的夹角并没有被定义
范例 8:求两向量间的夹角
解:
u与v是反向的
正交 (orthogonal)
Rn上的两个向量u与v为正交 若
注意:
零向量 0 与任何向量都成正交
范例 10:求正交向量
求Rn中与 成正交的所有向量
令
解:

定理 5.5:三角不等式 (triangle inequality)
若u与v为Rn上的两个向量,则
证明:
注意:
三角不等式的等号成立若且唯若u与v为同方向
定理 5.6:毕氏定理 (Pythagorean theorem)
若u与v为Rn上的两个向量,则u与v为正交若且唯若
点积与矩阵乘积
用一个nx1的行矩阵来表示在Rn上向量
摘要与复习 (5.1节之关键词)
length: 长度
norm: 范数
unit vector: 单位向量
standard unit vector : 标准单位向量
normalizing: 单范化
distance: 距离
dot product: 点积
Euclidean n-space: 欧基里德n维空间
Cauchy – Schwarz inequality: 科西 - 舒瓦兹不等式
angle: 夹角
triangle inequality: 三角不等式
Pythagorean theorem: 毕氏定理
5.2 内积空间
内积 (inner product)
令u, v与w为向量空间V的向量且c是任何纯量.V上的内积是一个函数,其将每一向量对u与v对应到一个实数并且满足下列公理
(1)
(2)
(3)
(4) 且 若且唯若
注意:
注意:
具有内积的向量空间V称为内积空间(inner product space)
向量空间:
内积空间:
范例 1: Rn上的欧基里德内积
说明Rn上的点积符合内积的四个公理
解:
由定理 5.3可知点积符合内积的四个公理
因此为Rn上的内积
范例 2:Rn上的另一种内积
证明下列式子符合R2的内积定义
解:
注意:
Rn上的一个内积型式
范例 3:一个非内积的函数
证明下列式子不是R3的一个内积
解:
令
不符合第4个公理
所以此式子不是R3的一个内积
定理 5.7:内积的性质
令u, v与w为内积空间V的向量且c是任何实数
(1)
(2)
(3)
u的范数(norm)或长度(length)
注意:
u与v的距离 (distance)
两个非零向量 u与v的夹角 (angle)
正交 (orthogonal)
若 ,则称u与v为正交
注意:
(1) 若 则称其为单位向量(unit vector)
(2)
(在v方向的单位向量)
非单位向量
范例 6:求内积
为一内积函数
解:
范数的性质
(1)
(2) 若且唯若
(3)
距离的性质
(1)
(2) 若且唯若
(3)
定理 5.8:
若u与v为内积空间V的向量
(1) 科西 - 舒瓦兹不等式:

(2) 三角不等式:

(3) 毕氏定理:u与v成正交若且唯若
定理 5.5
定理 5.6
定理 5.4
正交投影 (orthogonal-projection)
令u与v为内积空间V上的两个向量且 ,
则u正交投影到v可表示为
注意:
若 (v为单位向量),
则u正交投影到v的式子可简写成
范例 10:求R3上的正交投影
用R3上的欧氏内积求
的正交投影
解:
定理 5.9:正交投影与距离
令u与v为内积空间V上的两个向量且 ,则
摘要与复习 (5.2节之关键词)
inner product: 内积
inner product space: 内积空间
norm: 范数
distance: 距离
angle: 夹角
orthogonal: 正交
unit vector: 单位向量
normalizing: 单范化
Cauchy – Schwarz inequality: 科西 - 舒瓦兹不等式
triangle inequality: 三角不等式
Pythagorean theorem: 毕氏定理
orthogonal projection: 正交投影
5.3 单范正交基底:Gram-Schmidt过程
正交 (orthogonal)
在内积空间V上的集合S称为正交,若在S上每对向量均为正交
单范正交 (orthonormal)
若在S上每对向量均为正交且每个向量均为单位向量则称S为单范正交
注意:
若S为基底,则分别称为正交基底 (orthogonal basis) 或单范正交基底 (orthonormal basis)
范例 1:
R3上一个非标准的单范正交基底
证明S为单范正交基底
解:
证明三个向量彼此为正交
证明三个向量的长度均为1
因此S是一个单范正交集合
证明:
范例 2: 的单范正交基底
在 上,使用下列的内积定义
此组标准基底 为单范正交
定理 5.10 :正交集合为线性独立
若 为内积空间V上一些非零向量所构成的正交集合,则S为线性独立
证明:
因为S为正交且S上的每个向量都不为零向量
定理 5.10的推论
若V为n维的内积空间,则n个非零向量所构成的任意正交集合为V的基底.
范例 4:使用正交性质来测试基底
证明下列集合为 的基底
解:
:非零向量

(定理5.10的推论)
定理5.11:相对於单范正交基底的座标
若 为内积空间V的单范正交基底,则向量w相对於B的座标表示为
为单范正交
(唯一表示)
证明:
因为 为V的基底
注意:
若 为V的单范正交基底且
则w相对於B的座标矩阵为
范例 5:相对於单范正交基底的向量表示
求 相对於下列 单范正交基底的座标
解:
Gram-Schmidt单范正交化过程
为内积空间V的基底
为正交基底
为单范正交基底
解:
范例 7:Gram-Schmidt单范正交化过程的应用
应用Gram-Schmidt单范正交化过程求下列基底的单范正交基底
正交基底
单范正交基底
范例 10:Gram-Schmidt单范正交化过程的另一种形式
求下列线性方程式齐次系统之解空间的单范正交基底
解:
此系统的增广矩阵可化简为
因此解空间的一组基底为
(正交基底)
(单范正交基底)
摘要与复习 (5.3节之关键词)
orthogonal set: 正交集合
orthonormal set: 单范正交集合
orthogonal basis: 正交基底
orthonormal basis: 单范正交基底
linear independent: 线性独立
Gram-Schmidt Process: Gram-Schmidt过程
5.4 数学模型与最小平方分析
W的正交补集 (orthogonal complement)
令W是内积空间V的一个子空间
(a)在V中的一个向量u被称正交於W (orthogonal to W),
若u正交W中的每一个向量
(b)在V中与W上每一个向量正交的所有向量所构成的
集合被称为W的正交补集 (orthogonal complement)
(读 " perp")

注意:
注意:

范例:
直和(direct sum)
令 与 为 上的子空间.若每个向量 可被唯一写成为 中向量 与 中向量 的和,

则 为 与 的直和而且我们可以写成
定理 5.13:正交子空间的性质
令W为Rn的子空间,则下列性质为真
(1)
(2)
(3)
定理 5.14:在子空间的投影 (projection onto a subspace)
若 为内积空间上子空间W的一组单范正交基底且 ,则
范例 5:在上子空间的投影
求向量v在上子空间 的投影
解:
W之正交基底
单范正交基底
可用后面之方法求:
定理 5.15:正交投影与距离
令W为V上的子空间且 ,则对所有 且 ,下式成立
(在W的所有向量中, 是最逼近於v的向量)
证明:
利用毕氏定理
注意:
(1)在所有向量u的纯量倍数中,v正交投影到u是
最逼近v的一个向量
(2)在子空间W的所有向量中,向量 是
最逼近v的向量
定理 5.16:矩阵的基本子空间 (fundamental subspaces)
若A为一mxn的矩阵,则
(1)
(2)
(3)
(4)

范例 6:基本子空间
求下列矩阵的四个基本子空间
(列简梯形形式)
解:
检查:
范例 3:
令W是R4的子空间且
(a) 求一个W的基底
(b) 求一个W的正交补集的基底
解:
(列简梯形形式)
注意:

W的基底
的基底
最小平方问题 (least squares problem)
为线性方程式系统
(1) 如果此系统为一致性,我们可以使用高斯消去法
与反代法来解 x
(2) 当系统为不一致性时,如何找出"最可能的"解,也 就是x的值使得 Ax 与 b 的差相当 的小.有一个方 法可以定义出"最可能的",此法需要最小化 Ax-b 的范数.这个定义即是最小平方问题 的核心.
最小平方解 (least squares solution)
考虑一个有m个线性方程式和n个未知数的系统
Ax=b,最小平方问题是在Rn中找出使得
为最小的向量x ,此向量称为Ax=b的最小平方解
(Ax=b 的一般方程式 (normal equations))
注意:
解 的最小平方问题相当於是在解其所相对的一般方程式 的明确解
定理:
对於任一线性系统 ,这其所相对的一般方程式
为一致性系统,且一般方程式的所有解是Ax=b 的最小平方解.此外,假如W是A的行空间,且x是Ax=b 的任一最小平方解,则b正交投影到W是
定理:
若A为一具有线性独立行向量之mxn的矩阵,则对於每一个mx1的矩阵b,线性系统 Ax=b 有一唯一最小平方解.这解为
此外,假如W是A的行空间,则b正交投影到W是
范例 7:求解一般方程式
求下列系统的最小平方解
和求b正交投影到A的行空间
解:
这个一般方程式为
这个系统Ax=b 的最小平方解为
b的正交投影到A的行空间
摘要与复习 (5.4节之关键词)
orthogonal to W: 正交於W
orthogonal complement: 正交补集
direct sum: 直和
projection onto a subspace: 在子空间的投影
fundamental subspaces: 基本子空间
least squares problem: 最小平方问题
normal equations: 一般方程式