R()=K(x.x)-2K()+()-Y (10) 由式(9)可知,造成R(x)变大的原因是上式右边第二项。若采用高斯核函数,则有 - (11) 其中,。为高斯核函数的系数项。可知,若x-x越大,则式(11)的值就越小,使得式(10)中的 R(x)值越大。由此可知,式(10)中待测样本到球心的距离改变量主要取决于 (12) 因而,待测样本X的第变量对偏离的贡献值为 contr(xi x)2 (13) 为了消除变量量纲对贡献值的影响,需对上式做标淮花处理,标准化后变量对偏离的贡献值 x-)21S, (14) 其中S,为变量j的方差,co(x,)中贡献值最大的那些变量是造成质量偏离的主要原因。异常点识别 和异常原因诊断方法的工业应用实例将在下面章节中讨论。 1.3工艺参数在线调整方法 在确定导致质量异常原因后,需要对工艺参数进行在线调整,使生产过程回归到正常状态。常用的 多变量优化算法包括神经元网络、徐渡学习、粒子群算法。这些算法大多采用正向推理方式,通过迭代 找出优化解,但这会影响控制系统的实时性。因此,在实际工业应用中,需要研究多变量、非线性情 况下工艺参数的快速优化算法为了解决工艺参数在线动态优化问题,提出基于流形学习的过程控制 参数优化方法。 产品在制造过程史涉及多个连续衔接的工序,不同工序须严格控制工艺参数才能生产出合格的 产品,如钢材在制造过程中涉及治炼(控制成分、夹杂物)、连铸(控制铸坯组织)、成形(控制形状、 尺寸、组织)和热处理(主要组织和材料性能)等工序的质量指标控制。工序间的质量指标存在遗传 性和关联性,且铬工序设定的工艺参数密切相关。如何从高维、强耦合、非线性复杂数据中,提取低 维数据空间拓扑结构的机器学习方法一流形学习,近年来引起了广泛关注。主流形学习可以理解为, 从实际生产数据中提取出工艺参数随质量指标变化的流向“管道”,在“管道”内的工艺参数可以 满足质量要求。 流形是定义在一个拓扑空间上的某个子集,它建立在欧氏空间(原始空间)中,且与欧氏空间 是微分同胚的。如果数据集X中任意两个不同的样本点a、b,都存在a邻域U及b邻域V,使得 V∩U=VUU=⊙,称(X,x)为Hausdorff拓扑空间。t表示X的子集所组成的一个非空集合,且满足 x中元素的并集仍属于τ,其有限交集及空集⊙和X都属于x,并称π为X的一个拓扑结构。流形学习 包括无监督和有监督数据的流形学习24。无监督流形学习是解决高维数据的低维主流形提取方法, 主要用高维数据的降维和消噪:有监督流形学习是根据标签数据变化规律,提取数据随标签值变化
2 * * * * * * 1 1 1 ( ) ( , ) 2 ( , ) ( , ) - q q q i i i j j i i i j R x x x x x x x (10) 由式(9)可知,造成 2 R x( ) 变大的原因是上式右边第二项。若采用高斯核函数,则有 2 * * * * 2 2 1 1 ( , ) i x x q q i i i i i x x e (11) 其中, 为高斯核函数的系数项。可知,若 * i x x 越大,则式(11)的值就越小,使得式(10)中的 2 R x( ) 值越大。由此可知,式(10)中待测样本到球心的距离改变量主要取决于 * 1 1 2 * * * 2 1 ( ) q p i j i j q i i ij i x x x x (12) 因而,待测样本 x 的第 j 变量对偏离的贡献值为 * * 2 1 ( ) ( ) j q j i ij i contr x x x (13) 为了消除变量量纲对贡献值的影响,需对上式做标准化处理,标准化后变量 j 对偏离的贡献值 * * 2 1 ( ) ( ) / j j q j i ij i contr x x x S (14) 其中 Sj 为变量 j 的方差, ( )j contr x 中贡献值最大的那些变量是造成质量偏离的主要原因。异常点识别 和异常原因诊断方法的工业应用实例将在下面章节中讨论。 1.3 工艺参数在线调整方法 在确定导致质量异常原因后,需要对工艺参数进行在线调整,使生产过程回归到正常状态。常用的 多变量优化算法包括神经元网络、深度学习、粒子群算法。这些算法大多采用正向推理方式,通过迭代 找出优化解,但这会影响控制系统的实时性。因此,在实际工业应用中,需要研究多变量、非线性情 况下工艺参数的快速优化算法。为了解决工艺参数在线动态优化问题,提出基于流形学习的过程控制 参数优化方法。 产品在制造过程中涉及多个连续衔接的工序,不同工序须严格控制工艺参数才能生产出合格的 产品,如钢材在制造过程中涉及冶炼(控制成分、夹杂物)、连铸(控制铸坯组织)、成形(控制形状、 尺寸、组织)和热处理(主要组织和材料性能)等工序的质量指标控制。工序间的质量指标存在遗传 性和关联性,且与各工序设定的工艺参数密切相关。如何从高维、强耦合、非线性复杂数据中,提取低 维数据空间拓扑结构的机器学习方法—流形学习,近年来引起了广泛关注。主流形学习可以理解为, 从实际生产数据中提取出工艺参数随质量指标变化的流向“管道”,在“管道”内的工艺参数可以 满足质量要求。 流形是定义在一个拓扑空间上的某个子集,它建立在欧氏空间(原始空间)中,且与欧氏空间 是微分同胚的。如果数据集X中任意两个不同的样本点 a、b,都存在 a 邻域 U 及 b 邻域 V,使得 V U V U ,称(X,τ)为 Hausdorff 拓扑空间。τ 表示X的子集所组成的一个非空集合,且满足 τ 中元素的并集仍属于 τ,其有限交集及空集和X都属于 τ,并称 τ 为X的一个拓扑结构。流形学习 包括无监督和有监督数据的流形学习[42-45]。无监督流形学习是解决高维数据的低维主流形提取方法, 主要用高维数据的降维和消噪;有监督流形学习是根据标签数据变化规律,提取数据随标签值变化 录用稿件,非最终出版稿
的低维主流形的结构,比如,工艺参数随质量指标的流向。 给定高维的观测数据集X=:,本,x},x,∈RP为独立同分布随机样本,分布在光滑的d维流形上, 即在D维欧氏空间中嵌入d维流形,其中d≤D。流形学习就是从观测数据集X中寻找低维的嵌入映 射,从而求得微分同胚的低维主流形。在建立观测点x,局部邻域的流形时,需要从数据集中抽取与该 观测点邻近(或相似)的数据点构建邻近(相似)矩阵,并计算矩阵的特征向量,通过选择若干最大特 征值对应的特征向量作为主向量,且将数据投影到主向量上得到低维的嵌入映射,即主流形。 在实际工业应用中,高维数据中内在的低维主流形常常是未知的。流形学习的目的是从数据集中, 通过嵌入局部邻域的低维主流形来描述整体的流形结构,在不丢失数据内在的本质特征情况下,消 除数据的次要因素和随机噪声,提取出数据低维的本质结构一主流形,图4给出流形学习的示意图。 Observed sample Manifold M ● ● 00 {S(V)} ■4流形标意图 Fig.4 Manifold learning diagram 流形学习过程包括3个步骤: (1)首先,对样本集进行标准化处理,消除变量的不同量纲在计算几何距离时影响,并建立标 签样本集{(:,)(32S),(:S)(xS)},其中S,表示标签样本的状态,即样本在流形空间中位置。 (2)搜索距样本点x,邻近且与其处牙同类状态的邻近点子集{S,(V)},同时选择与x,相邻, 但处于下一个状态的邻近点子集U,)}。 (3)对所有n个样本点建立郊近点集矩阵{N1,N2,,Nn}作为最终的邻近矩阵,其中子矩阵 N,的维数为k,×D,复观测点x邻近点个数,D为样本空间维度。 对每个子矩阵W个求得坊差矩阵C,=NN,再对协方差矩阵进行特征值分解,求得特征值 U,及对应的特征向量 C=U'AU (15) 最大的特征值所对应的特征向量表示流形在x,局部区域的主流形。由于特征向量相互正交,主流 形构成了局部区域的切空间。主流形的提取实现了高维流形向低维主流形的转换,揭示了流形在局部 区域的主要变化趋势(在图4中由箭头表示),并消除数据中的随机噪声和非主流的变化因素。将邻 域矩阵N,投影到局部区域的切空间T T=NU (16) 其中,向量工表示低维主流形演化方向,)为由式(15)求得的d个最大特征值的特征向量。 对每个观测点邻近矩阵分别计算特征向量,可以构建演化矩阵T=[工,T,,T]。演化矩阵的每
的低维主流形的结构,比如,工艺参数随质量指标的流向。 给定高维的观测数据集 1 2 { , ,... } X x x x n , D i x R 为独立同分布随机样本,分布在光滑的 d 维流形上, 即在 D 维欧氏空间中嵌入 d 维流形,其中 d≤D。流形学习就是从观测数据集 X 中寻找低维的嵌入映 射,从而求得微分同胚的低维主流形。在建立观测点 i x 局部邻域的流形时,需要从数据集中抽取与该 观测点邻近(或相似)的数据点构建邻近(相似)矩阵,并计算矩阵的特征向量,通过选择若干最大特 征值对应的特征向量作为主向量,且将数据投影到主向量上得到低维的嵌入映射,即主流形。 在实际工业应用中,高维数据中内在的低维主流形常常是未知的。流形学习的目的是从数据集中, 通过嵌入局部邻域的低维主流形来描述整体的流形结构,在不丢失数据内在的本质特征情况下,消 除数据的次要因素和随机噪声,提取出数据低维的本质结构—主流形,图 4 给出流形学习的示意图。 图4 流形学习示意图 Fig.4 Manifold learning diagram 流形学习过程包括 3 个步骤: (1)首先,对样本集进行标准化处理,消除变量的不同量纲在计算几何距离时影响,并建立标 签样本集 1 2 {( , ),( , ),...( , )...( , )} i i i j n p x S x S x S x S ,其中 j S 表示标签样本的状态,即样本在流形空间中位置。 (2)搜索距样本点 i x 邻近且与其处于同类状态的邻近点子集{ ( )} S Vi i ,同时选择与 i x 相邻, 但处于下一个状态的邻近点子集{ ( )} S U i i 1 。 (3)对所有 n 个样本点建立邻近点集矩阵 , { ,..., } N N N 1 2 n 作为最终的邻近矩阵,其中子矩阵 Ni 的维数为 i k D , i k 为观测点 i x 邻近点个数,D 为样本空间维度。 对每个子矩阵 Ni 求得协方差矩阵 T C N N i i i ,再对协方差矩阵进行特征值分解,求得特征值 Ui及对应的特征向量 λi T C U U i i i i (15) 最大的特征值所对应的特征向量表示流形在 i x 局部区域的主流形。由于特征向量相互正交,主流 形构成了局部区域的切空间。主流形的提取实现了高维流形向低维主流形的转换,揭示了流形在局部 区域的主要变化趋势(在图 4 中由箭头表示),并消除数据中的随机噪声和非主流的变化因素。将邻 域矩阵 Ni 投影到局部区域的切空间Ti ˆ T N U i i (16) 其中,向量Ti 表示低维主流形演化方向,Uˆ 为由式(15)求得的 d 个最大特征值的特征向量。 对每个观测点邻近矩阵分别计算特征向量,可以构建演化矩阵 , 1 2 [ ,..., ] T T T T n 。演化矩阵的每 录用稿件,非最终出版稿