KL变换原理 /956 自2 u是确定性向量，则公式写为： 号=∑uar7, 00 令：平=E[x]有：ξ=∑4平4， j=d+l 欲使该均方误差ξ为最小，即在确保正交变 换的条件下，使ξ达最小的问题，这可用拉格 朗日乘子法求解。 电子科技大学研究生《模式识别与机器学习》
电子科技大学研究生《模式识别与机器学习》 uj是确定性向量，则公式写为： 令： 欲使该均方误差x为最小，即在确保正交变 换的条件下，使x 达最小的问题，这可用拉格 朗日乘子法求解。 有： K-L变换原理
K-L变换原理 号5 ga,)w4,-[四4，-刂 AX=λx Ax=(A)x 并对u,求导数，得： (A-AI)x=0 厘-入I)4,=0 j=d+1,回，∞ 可见向量4，d+1,,o是矩阵Ψ特征值的特征向量 Ψ4，=入，4，j=d+1,包∞ 00 截断误差ξ为：5=∑入 ξ= Ψ4 j=d+l 电子科技大学研究生《模式识别与机器学习》
电子科技大学研究生《模式识别与机器学习》 并对uj求导数，得： 可见向量uj，j=d+1,…,¥是矩阵Y特征值的特征向量 截断误差x为: K-L变换原理
K-L变换原理 结论：以矩阵平的特征向量作为坐标轴来展开x 时，其截断均方误差具有极值性质，且当取d个 u,j1,2,…,d来逼近x时，均方误差为： 将入按其大小顺序排列： 1+ 入12入2≥☒≥入≥入4+ ■取前d项特征值对应的特征向量组成的坐标系，可使向 量的均方误差为最小。 ☐满足上述条件的变换就是K-L变换。 电子科技大学研究生《模式识别与机器学习》
电子科技大学研究生《模式识别与机器学习》 ■ 取前d 项特征值对应的特征向量组成的坐标系，可使向 量的均方误差为最小。 □ 满足上述条件的变换就是K-L变换。 将li按其大小顺序排列： ■ 结论：以矩阵Y的特征向量作为坐标轴来展开x 时，其截断均方误差具有极值性质，且当取d个 uj,j=1,2,…,d来逼近x时，均方误差x为： K-L变换原理
基于K-L变换的特征提取 口基本步骤： ■对N个样本（特征向量），求产生矩阵Ψ。 ■对矩阵Ψ，求N个本征值与本征向量。 ■将N个本征值按值的大小的顺序排列。 ■取M个本征值（本征向量），组成新的变换矩 阵Φ ■ywΦTxw代替原来的特征向量。 14 电子科技大学研究生《模式识别与机器学习》
电子科技大学研究生《模式识别与机器学习》 □基本步骤： ■对N个样本(特征向量)，求产生矩阵Y。 ■对矩阵Y，求N 个本征值与本征向量。 ■将N 个本征值按值的大小的顺序排列。 ■取M个本征值(本征向量)，组成新的变换矩 阵F ■yM=FTxN 代替原来的特征向量。 14 基于K-L变换的特征提取
KL变换原理 口K-L变换的基并没有固定的形式，它是从对给定数据集{x} 进行计算产生的。给定的数据集不同，得到的K-L变换基函 数也因此而不同 口☐由于它对给定数据集{x}存在依赖关系，它能在降低维数时 仍能较好地描述数据，因此是模式识别中降低特征空间维 数的有效方法。 15 电子科技大学研究生《模式识别与机器学习》
电子科技大学研究生《模式识别与机器学习》 □K-L变换的基并没有固定的形式，它是从对给定数据集{x} 进行计算产生的。给定的数据集不同，得到的K-L变换基函 数也因此而不同 □由于它对给定数据集{x}存在依赖关系，它能在降低维数时 仍能较好地描述数据，因此是模式识别中降低特征空间维 数的有效方法。 15 K-L变换原理