Optimality notion 给定连续可导f:R”→R,最小化f x是一个全局最优解Global minimum),如果f(x)≥ f(x;),Vx x,是一个局部最优解Local minimum),如果6> 0,x:lx-x*<6,均有f(x)≥f(x*) 7
Optimality notion 给定连续可导�: ℝ' → ℝ, 最小化� �∗是一个全局最优解(Global minimum)，如果� � ≥ � �∗ , ∀� �∗是一个局部最优解(Local minimum)，如果∃� > 0, ∀�: � − �∗ < �, 均有� � ≥ � �∗ 7
Optimality condition from calculus 给定连续可导f:R”→R,和一个点xo r=( ofof ∂f f(x)≈f(xo)+f(xo)·(x-xo), x 特别地， 可以选取x-x,=a(f(xo) f(xo+a(vf(xo)))-f(xo)=allvf(xo)Il 当a足够小的时候，的符号决定f局部的增减性 当Vf(xo)=0,则点xo为驻点(stationary point) 此时需要看二阶导数 8
Optimality condition from calculus 给定连续可导�: ℝ: → ℝ, 和一个点 �; ∇� � ≔ �� ��# , �� ��! , … , �� ��: � � ≈ � �; + ∇� �; ⋅ � − �; , ∀� 特别地，可以选取� − �; = � ∇� �; < � �; + � ∇� �; < − � �; ≈ � ∇� �; ! ! 当�足够小的时候，�的符号决定�局部的增减性 当 ∇� �; = 0，则点 �;为驻点(stationary point) 此时需要看二阶导数 8
Optimality condition from calculus 给定连续可导f:R”→R 82f of 82f Oa 0x18x2 Ox1 6xn of 82f 82f Hf二 0x20x1 0z号 8x20n 82f 8f 82f 82n Ox1 0xn∂x2 0r品 通常也把Hessian?矩阵Hr记作V2f 9
Optimality condition from calculus 给定连续可导�: ℝ' → ℝ 通常也把Hessian矩阵�)记作 ∇*� 9