如果一矩阵范数‖·‖相对于某向量范数‖·‖满足下面的不等式 (5)‖Axl‖≤LAll,x∈R”, 则称矩阵范数‖·‖和向量范数‖·‖是相容的.进一步，若存在x卡0 使成立 ‖Alμ=max ‖lAcl x max‖Axl,A∈Rmxn, (1.7） x≠0 x川=1 则称矩阵范数‖·‖4是由向量范数‖·‖诱导出来的算子范数，简称算 子范数，有时也称为从属于向量范数‖·‖的矩阵范数.此时向量范数 和算子范数通常采用相同的符号‖·‖ 不难验证，从属于向量范数x‖，‖x1,‖x2的矩阵范数分别 为 Ax=a∑ aijl, 1<<n 1=1 Back Close
6/36 JJ II J I Back Close XJò› âÍ k · kµ ÉÈu,ï˛âÍ k · k ˜ve°ÿ ™ £5§kAxk ≤ kAkµkxk, x ∈ R n , K°› âÍ k · kµ ⁄ï˛âÍ k · k ¥ÉN. ?ò⁄ße3 x 6= 0 ¶§· kAkµ = max x6=0 kAxk kxk = max kxk=1 kAxk, A ∈ R n×n , (1.7) K°› âÍ k · kµ ¥dï˛âÍ k · k p—5éfâÍß{°é fâÍßkûè°èl·uï˛âÍ k · k › âÍ. dûï˛âÍ ⁄éfâÍœ~Ê^É”Œ“ k · k. ÿJyßl·uï˛âÍ kxk∞, kxk1, kxk2 › âÍ©O è kAk∞ = max 1≤i≤n X n j=1 |aij|
IlAll= 1≤j≤n i=1 lAl2=max{V入|入∈(ATA)} 它们分别称作行和范数、列和范数和谱范数. 本书在讨论各种迭代算法的收敛性时，通常采用谱范数和按下 述方式定义的F范数： Ar=(∑∑)'-VArA (1.8) 现在我们来讨论向量序列和矩阵序列的收敛性.我们知道，若 {x}21CR”,则 lim (=x←limx的=，i=l,.,n. Back Close
7/36 JJ II J I Back Close kAk1 = max 1≤j≤n X n i=1 |aij|, kAk2 = max{ √ λ | λ ∈ λ(A TA)}, ßÇ©O°ä1⁄âÍ!⁄âÍ⁄ÃâÍ. ÷3?ÿà´Sìé{¬Ò5ûßœ~Ê^ÃâÍ⁄Ue „꙽¬ F-âÍ: kAkF = X n i=1 X n j=1 a 2 ij1/2 = q tr(ATA) (1.8) y3·Ç5?ÿï˛S⁄› S¬Ò5. ·Çße {x (k)} ∞ k=1 ⊂ R n ßK lim k→∞ x (k) = x ⇐⇒ lim k→∞ x (k) i = xi , i = 1, · · · , n
类似地，若{A}e1CRx”,则 limA=A←1img=a,i,j=1,.,n. 为了利用范数来描述上述极限，必须建立向量范数的等价定理以及 矩阵范数的等价定理 定理1.1(1)设‖·‖和‖·'是定义在R”上的两个向量范数， 则存在两个正数C1,C2,对所有x∈Rn均成立 cillx≤lxl'≤c2. (2)设‖·‖和‖·'是定义在R”xm上的两个矩阵范数，则存在 两个正数m1,m2,对所有A∈Rmx均成立 mlA‖≤A'≤m2llAl. Back Close
8/36 JJ II J I Back Close aq/ße {A(k)} ∞ k=1 ⊂ Rn×n ßK lim k→∞ A (k) = A ⇐⇒ lim k→∞ a (k) ij = aij, i, j = 1, · · · , n. è |^âÍ5£„˛„4Åß7LÔ·ï˛âÍ d½n±9 › âÍ d½n. ½n 1.1 (1) k · k ⁄ k · k0 ¥½¬3 Rn ˛¸áï˛âÍß K3¸áÍ c1, c2ßȧk x ∈ R n ˛§· c1kxk ≤ kxk 0 ≤ c2kxk. (2) k · k ⁄ k · k0 ¥½¬3 R n×n ˛¸á› âÍßK3 ¸áÍ m1, m2ßȧk A ∈ R n× ˛§· m1kAk ≤ kAk 0 ≤ m2kAk
下面，我们利用范数的概念来等价地定义向量序列和矩阵序列 的收敛性， 定理1.2(1)设{x)}为n维向列序列，‖·‖为定义在R”上 的向量范数，则 limx肉=x←→lim ll()-x‖=0； k- (2)设{A}为n×n矩阵序列，‖·‖为定义在Rnxn上的向量 范数，则 limA=A←→1im‖A因-A‖=0. k00 1.3函数的可微性与展开 本节主要介绍后文经常需要用到元函数的一阶和二阶导数以 及泰勒展开式 Back Close
9/36 JJ II J I Back Close e°ß·Ç|^âÍVg5 d/½¬ï˛S⁄› S ¬Ò5. ½n 1.2 (1) {x (k)} è n ëïSßk · k 转3 R n ˛ ï˛âÍßK lim k→∞ x (k) = x ⇐⇒ lim k→∞ kx (k) − xk = 0; (2) {A(k)} è n × n › Sßk · k 转3 R n×n ˛ï˛ âÍßK lim k→∞ A (k) = A ⇐⇒ lim k→∞ kA (k) − Ak = 0. 1.3 ºÍåá5Ü–m !Ãá0 ©²~Iá^ n ºÍò ⁄ ͱ 9V–m™.
定义1.1设有n元实函数f(c),其中自变量x=(ac1,.,xm)T∈ R”.称向量 Vf(x)= ∂f(x)∂f(x) ∂f( 0x1’∂x2 (1.9) 为f(x)在x处的一阶导数或梯度.称矩阵 82f(x) 82f(x) a2f(x) 0x3 0x1∂x2 0x1∂xn 82f(x) a2f(x) af(a) V2f(x)= 0x20x1 am喝 8x28Cn (1.10) ∂2f(c) 82f(x) 8f(x) 8xnOx1 0xn0x2 0r鼎 为f(x)在x处的二阶导数或Hesse矩阵.若梯度Vf(x)的每个分量 函数在x都连续，则称f在x一阶连续可微；若Hsse阵Vf(x)的 各个分量函数都连续，则称∫在x二阶连续可微 Back Close
10/36 JJ II J I Back Close ½¬ 1.1 k n ¢ºÍ f(x), Ÿ•gC˛ x = (x1, · · · , xn) T ∈ R n . °ï˛ ∇f(x) = ∂f(x) ∂x1 , ∂f(x) ∂x2 , · · · , ∂f(x) ∂xn T (1.9) è f(x) 3 x ?ò ͽF›. °› ∇2 f(x) = ∂ 2 f(x) ∂x2 1 ∂ 2 f(x) ∂x1∂x2 · · · ∂ 2 f(x) ∂x1∂xn ∂ 2 f(x) ∂x2∂x1 ∂ 2 f(x) ∂x2 2 · · · ∂ 2 f(x) ∂x2∂xn . . . . . . . . . ∂ 2 f(x) ∂xn∂x1 ∂ 2 f(x) ∂xn∂x2 · · · ∂ 2 f(x) ∂x2 n (1.10) è f(x) 3 x ? ͽ Hesse › . eF› ∇f(x) zᩲ ºÍ3 x —ÎY, K° f 3 x ò ÎYåá¶e Hesse ∇2 f(x) àᩲºÍ—ÎYßK° f 3 x ÎYåá.