8.1正则化理论简介 ■矩阵A的奇异值分解 nN=Un∑V,U和V的正交矩阵, ∑的对角元素为奇异值2>0 定义∑Mxn的对角元素x=1/1 A的广义逆,A+=V∑Nm n×n 如果AA可逆,则A=(AA)A f=Ay=
8.1 正则化理论简介 矩阵A的奇异值分解 y y T T T T T T n n N n N n N N i i N n n N i n n N N T n N n n n N N N f A y A A A A A A A A A f A A A V U A U V U V 1 1 1 1 ( ) ( ) 1/ 0 , + − + − + × × − × + × + × − × × × × × × × = = = = = Σ Σ = Σ > = Σ 如果 可逆，则 的广义逆， 定义 的对角元素 的对角元素为奇异值 和 的正交矩阵， λ λ λ
8.1正则化理论简介 学习函数集可以看作目标空间( Target Space)中的点。 f∈T=RN ■解的稳定性: y的小扰动,是否对应f小扰动? A(6+4)=y+△y 小?
8.1 正则化理论简介 学习函数集可以看作目标空间(Target Space)中的点。 解的稳定性： 的小扰动，是否对应f的小扰动？ N f ∈T = R ( + ∆ ) = y + ∆y 0 A f f 小？ 小 y
8.1正则化理论简介 般的有逆问题求f Af=yf∈T,y∈Y,/和Y是 Hibert空间 算子A:T→Y
8.1 正则化理论简介 一般的有逆问题求f： A T Y Af f T Y T Y Hibert → = ∈ ∈ : , , 算子 y y 和 是 空间
8.1正则化理论简介 n逆问题 Well-posed与l- posed Hadamard关于 well-posed [A题的定义 存在性:对每个y∈Y方程都有解f 唯一性:保证对每个y∈Y方程都有唯一解f。 α稳定性:A是连续映射,保证了解的稳定性。 y的小扰动,对应f小扰动 不是 well-posed就称为 H-posed Hadamard:y总会有误差,l- posed问题不可解
8.1 正则化理论简介 逆问题Well-posed与ill-posed： Hadamard关于well-posed问题的定义： 存在性：对每个 方程都有解f。 唯一性：保证对每个 方程都有唯一解f。 稳定性： 是连续映射，保证了解的稳定性。 y的小扰动，对应f的小扰动。 y ∈Y y ∈Y −1 A 不是 well-posed 就称为 ill-posed。 Hadamard：y总会有误差，ill-posed问题不可解
8.1正则化理论简介 正则化理论 Tikhonov1943,1963): 有一大类问题,在 Hadamard意义下是l posed问题,但可以找出一个稳定的近似解 Tikhonov的思想 不在整个空间T上求解,把解∫限制在一个子 集H∈T上求解,可能得到稳定解。 Af=y,f∈H,y∈Y
8.1 正则化理论简介 正则化理论(Tikhonov 1943,1963)： 有一大类问题，在Hadamard意义下是illposed问题，但可以找出一个稳定的近似解。 Tikhonov的思想： 不在整个空间 上求解，把解 限制在一个子 集 上求解，可能得到稳定解。 Af = y, f ∈ H , y ∈Y T f H ⊂ T