8.1正则化理论简介 a Tikhonov意义下的 well-posedl题 存在一个集合HcT满足: 对任意y∈A(H)∈Y,都存在属于H的解 H中的解是唯一的。 H中的解是稳定的:A限制在集合A(H)cY 上是连续的。 n与 Hadamard意义下wel- posed定义的联系: 二者等价如果: H=T A(H=Y
8.1 正则化理论简介 Tikhonov意义下的well-posed问题： 存在一个集合 满足： 对任意 ，都存在属于 的解。 中的解是唯一的。 中的解是稳定的： 限制在集合 上是连续的。 与Hadamard意义下well-posed定义的联系： 二者等价如果： H ⊂ T y ∈ A(H) ⊂ Y H H H −1 A A(H) ⊂ Y H = T A(H) = Y
8.1正则化理论简介 什么样的H可能满足有稳定解的条件? 要求:A限制在集合A(H)上连续 ■定理(逆算子的稳定性): 如果A在紧集HcX连续,则A在A(H) 上也连续。 ■怎样找H ■直接找几乎不可能 正则化方法:变找H为根据先验知识增加约 束条件,称为假设空间( Hypothesis Space)
8.1 正则化理论简介 什么样的 可能满足有稳定解的条件？ 要求： 限制在集合 上连续。 定理（逆算子的稳定性）： 如果 在紧集 连续，则 在 上也连续。 怎样找 ？ 直接找几乎不可能。 正则化方法：变找 为根据先验知识增加约 束条件，称为假设空间(Hypothesis Space)。 H −1 A A(H) A H ⊂ X −1 A A(H) H H
8.1正则化理论简介 ■假设空间举例 m阶多项式 H=flf(x=ao+a,x+.+amx") 截断傅立叶系数 H=flf(x)=ao/2+a, sin(x)+b, cos(x)+ +am sin(mx)+bm cos(mx)) 线性基函数展开 H={(x)=∑cK(x)
8.1 正则化理论简介 假设空间举例 m阶多项式 截断傅立叶系数 线性基函数展开 { | ( ) } 0 1 m m H = f f x = a + a x +L+ a x sin( ) cos( )} { | ( ) / 2 sin( ) cos( ) 0 1 1 a mx b mx H f f x a a x b x + m + m = = + + +L ∑ = = = m i i i H f f x c K x 1 { | ( ) ( )}
8.1正则化理论简介 ■线性插值问题 Af=y,y∈R",f∈R A不可逆,在 Hadamard意义下是- posed间题。 ■正则化方法:增加约束条件 lf‖≤ 最小化
8.1 正则化理论简介 线性插值问题 不可逆，在Hadamard意义下是ill-posed问题。 正则化方法：增加约束条件 最小化 A n N Af = y,y ∈ R , f ∈ R f ≤ µ 2 Af − y
8.1正则化理论简介 n由 Lagrange乘子理论: OLO 2A(4f-y)+2f=0 A=(AA+A)A 正则化解:f2=Ay=(AA+)Ay
8.1 正则化理论简介 由Lagrange乘子理论： T T T A A A I A A Af f f L f L f Af f 1 2 2 ( ) 2 ( ) 2 0 ( ) ( ) ( ( )) + − = + = − + = ∂ ∂ = − + − λ λ λ µ y y y y T T f A A A I A1 ( ) + − 正则化解： λ = = + λ