基于核主成分分析与最小二乘支持向量机结合处理时间序列预测问题

D0I:10.13374/j.issn1001053x.2006.03.022 第28卷第3期 北京科技大学学报 Vol.28 No.3 2006年3月 Journal of University of Science and Technology Beijing Mar.2006 基于核主成分分析与最小二乘支持向量机结合 处理时间序列预测问题 郭辉王玲刘贺平 北京科技大学信息工程学院，北京100083 摘要探讨了最小二乘支持向量机时间序列预测的方法，提出了用核主成分分析提取主元，然 后用最小二乘支持向量机进行预测.通过实验表明，这种方法得到的效果优于没有特征提取的预 测，同时与主成分分析提取特征相比，用核主成分分析效果更好 关键词主成分分析；最小二乘支持向量机；核主成分分析；时间序列顸测 分类号TP301.5 Vapnik在1995年提出一种新型统计学习方 特征向量，而是将其转化为求核矩阵的特征向量 法一支持向向量机(Support Vector Ma- 和特征值，这避免了在特征空间求特征向量，而数 chines)),常称为标准支持向量机，具有完备的统 据在特征向量上的投影转换为求核函数的线性组 计学习理论基础和出色的学习性能，已成为机器 合，这大大地简化了计算 学习界的研究热点，并在很多领域都得到了成功 首先将样本x:k=1,…,n,x∈R,映射到 的应用.在此基础上，Suykens提出最小二乘支持 特征空间(x):k=1,…,n,x∈RN,计算协方 向量机方法(least squares support vector ma- 差矩阵9-10： chines)2).与标准支持向量机相比，这种方法采 用最小二乘线性系统作为损失函数，求解过程变 c= )(x)(x)T (1) 成了解一组等式方程，求解速度相对加快，并应用 然后通过解特征值问题计算主成分，可以找到λ 到模式识别和非线性函数估计，取得了较好的效 >0和V≠0满足： 果. Aw=CV=1(Φ(x)v)(x)(2) 时间序列预测在工程、经济、工业制造、金融 n台 等许多领域有着广泛而重要的应用价值，国内外 进一步，从式(2)可以看出，所有特征值非零的特 许多学者采用了各种方法进行了时间序列预测的 征矢量必然映射数据的张集上，这可以表示 研究[45].在时间序列预测问题中，特征提取非常 为[6： 重要，它可以降低学习问题的复杂性，提高学习算 ,() V=> (3) 法的泛化性能，简化学习模型.本文提出了利用 核主成分分析(KPCA)对数据进行特征提取，消 由式(2)左乘(x)变为： 除数据的相关性和噪声，提取包含样本数据信息 入（Φ(x)V)=(西(x)·CV),k=1,2,…,n 的主元，降低样本空间的维数，这些新特征作为最 (4) 小二乘支持向量机的输入，用来解决时间序列问 定义一个n×n矩阵K, 题. K=K(x,x)=(Φ(x:)·Φ()(5) 1 核主成分分析 现在计算展开系数α；的特征值问题仅仅取决于 核函数，即： 基于核函数的PCA,这种方法不是直接计算 nλa=Ka (6) 收稿日期：2005-01-24修回日期：2005-11-17 其中，a表示a1,…,am组成的一个列向量 基金项目：国家“863”项目(No.2002AA412010-10:)及北京市 得到的解(a:,a)需要利用入：（a·a)=1进 教委重点学科共建项目 行归一化处理.接下来要提取一个测试样本x的 作者简介：郭辉(1972一)，男，博士研究生：刘贺平(1951一).男， 教授 特征，只需将映射样本Φ(x)投影到V上1o1:

第 2 8 卷 第 3期 2 0 0 6 年 3 月 北 京 科 技 大 学 学 报 J o u nr a l of U n ive sr i ty o f S e 朋i ec a n d T e c h n o l o gy Be 幼in g V ol . 2 8 N o , 3 M a r 。 2 0 0 6 基于核 主成分分析与最小二乘支持 向量机结合 处理时间序列预测问题 郭 辉 王 玲 刘 贺平 北京科技大学信息工程学院 , 北京 10 0 0 8 3 摘 要 探讨了最 小二乘支持向量机时 间序 列 预测 的方法 , 提 出了用核 主成分分析提取 主元 , 然 后用最小二乘支持 向量机进行预测 , 通过实验表明 , 这种方法 得到的效果优于没有 特征提取的预 测 . 同时与主成分分析提取特征相 比 , 用核主成分分析效果更好 . 关键词 主成分分析 ; 最小二乘支持 向量机 ; 核主成分分析 ; 时间序列 预测 分类号 T P 3 0 1 . 5 v ap in k 在 19 9 5 年提 出一种 新型 统计学 习方 法一- 支 持 向 向 量 机 ( S u p p o r t V e c t o r M a - hc in e s )[ `〕 , 常称为标准支持 向量机 , 具 有完备的统 计学 习理 论基 础和 出色 的学 习性 能 , 已 成 为机器 学 习界 的研究 热 点 , 并在 很 多领 域 都得 到 了 成功 的应用 . 在 此基础 上 , s uy k en s 提 出最小 二乘 支持 向量 机 方 法 ( l e a s t s q u a r e s s u p p o r t v e c t o r m a - ch in e s )[ 2 一” 〕 . 与标准支持 向量机 相 比 , 这种方 法采 用最 小二 乘线性 系统 作为损 失函 数 , 求 解过程变 成 了解 一组等式方程 , 求解速度相对 加快 , 并 应用 到模式识别和 非线 性函数 估计 , 取得 了较 好的效 果 . 时间序列预 测在 工 程 、 经 济 、 工业 制造 、 金 融 等许多领域有 着广 泛 而重 要 的 应用 价值 , 国 内外 许多学 者采用 了各种方法进行 了 时间序列预 测 的 研 究t 4 一 5 1 . 在 时间序列 预测 问题 中 , 特征提取 非常 重要 , 它可 以降低学 习问题的复杂性 , 提高学 习算 法 的泛化 性 能 , 简 化学 习模 型 . 本 文提 出了利 用 核主成分 分 析 ( K P C A ) 对 数据 进 行 特征 提 取 , 消 除数据的相关性 和 噪声 , 提 取包含 样本数据信 息 的 主元 , 降低样本空 间的维数 , 这些新特征作为最 小二乘支持向量机 的 输入 , 用来解决时间序列 问 题 . 1 核主成分分析 基于核 函数的 P C A , 这 种方法 不是直 接计算 特征 向量 , 而是 将 其转 化为求核 矩 阵 的特征 向量 和特征值 , 这避免 了在特征 空间求特 征 向量 , 而数 据 在特征 向量 上的投 影转换 为求核 函数的 线性 组 合 , 这大大地简化了计算 . 首先 将样本 x * : k = 1 , … , n , x 无 〔 R N , 映射到 特征空 间 势( x 、 ) : k = 1 , … , 。 , x 庵 任 R N , 计算协 方 差 矩 阵〔9 一`。〕 : c 一 青豁 ( 为 ” ( 为’ T ( 1 ) 然 后通过 解特征值 问题计 算 主成 分 , 可 以 找到 几 > 0 和 v 护0 满 足 : 久v = c v = 工 习 ( 。 ( xj ) · v ) 中 ( 毛 ) ( 2 ) 进一步 , 从 式 ( 2) 可以 看 出 , 所有 特征 值非零 的特 征矢 量 必 然 映 射 数 据 的 张 集 上 , 这 可 以 表 示 为[ “ ] : v 一 艺 a : 必 ( x * ( 3 ) 收稿日期 : 2 0 0 5 一 0 2佗4 修回 B 期 : 2 00 5 一 x l 一 17 基金项目 : 国家 “ 5 6 3 , , 项 目 ( N o . 2 0 0 2 A A 4 1 2 0 1 0 一 10 ; )及北 京市 教委重点学科共建项目 作者简介 : 郭辉( 19 72 一 ) , 男 , 博士研究生 ; 刘贺平 ( 1 9 5 1一 ) , 男 , 教授 由式 (2 )左 乘 中 ( x 走 )变为 : 又( 巾 ( x * ) · V ) 二 ( 毋 ( x * ) · e V ) , k = l , 2 , , 二 , n ( 4 ) 定 义一个 , X 儿 矩 阵 K 。 , K 。 = K ( x * , xj ) = ( 中 ( x , ) · 中 ( xj ) ) ( 5 ) 现在计算 展开 系数 a * 的 特 征值 问题 仅仅 取 决 于 核函 数 , 即 : n 几a = K a ( 6 ) 其 中 , a 表示 a l , … , 。 。 组成 的一个 列 向量 . 得到 的解( 又、 , “ ` )需要 利用 久* ( 份 · 汾 ) = 1 进 行归一化 处理 . 接下 来要提 取一个测 试样本 x 的 特征 , 只需将映射 样本 。 ( x ) 投 影到 vi 上 〔’ 倒 : DOI: 10. 13374 /j . issn1001 -053x. 2006. 03. 022

·304· 北京科技大学学报 2006年第3期 s(i)=（V.Φ(x)= 2i((x)p(x)= 条件： aL =0→0= dw a,(S:) (9) K(x),i=1,,m (7) aL =0→ (10) ab 2a:=0 同时，KPCA与其他PCA算法一样，还需要 对数据在特征空间进行中心化处理，这只需用下 aL=0→a:=Yi (11) aE: 列矩阵K代替核矩阵K即可： aL=0+wTΦ(s,)+b+-=0(12） K=K-I K-In +lKln dai (8) 其中，(ln),=1/n,i,j=1,…,m 优化问题转化为求解线性问题，并且约减后 常用的核函数有多项式核函数、径向基函数、 得到： Sigmod函数.从上面方程看出，KPCA提取的最 0 (13) 大主元个数是n,如果前几个特征向量就能反映 1。 2+ 全部特征，那么样本的主元数目可以减少，往往提 取的主元数目m<n. 其中，s=[s1,…,sm],y=[y1,…,ym],a=〔a1, …,am],2=(x:)(x),i,k=1,…,m.定 2 特征提取后的最小二乘支持向量 义核函数K(s,S;)=D(s;)(S),是满足Mercer 机 条件的对称函数 最小二乘支持向量机特征提取后的回归估计 用KPCA特征提取后，得到m个主元，图1 为： 显示了特征提取后的机器学习系统基本组成部 分.训练数据的样本可以表示为：(s1,y1),(s2, y(s)=>aK(s,s)+6 (14) y2),…,(sm,ym),其中为是目标值，3：是提取后 从上面分析可以得到基于KPCA特征提取 特征选择后 的最小二乘支持向量机建模算法的具体步骤如 数据集 的数据集合 下： 步骤1选取建模数据，并进行预处理； 数据收集 KPCA 最小二乘 支持向量机 步骤2选取KPCA的核参数，并进行特征 图1特征提取的机器学习系统基本构成 选择，提取主元作为最小二乘支持向量机的输入； Fig.1 Structure of machine learning for feature extraction 步骤3应用最小二乘支持向量机建模方 的输入量，最小二乘支持向量机在优化目标中的 法，建立基于最小二乘支持向量机模型； 损失函数为误差：的二次项，使得约束条件变成 步骤4进行正则化参数及核参数的选择和 了等式约束，优化问题可以描述为求解下面问 调整； 题81： 步骤5利用所建立好的模型进行预测 3实验分析 约束条件：y:=西(s:)0+b+,i=1,,m, 3.1混沌时间序列预测 其中，西(·)：R”→R是核函数（与KPCA中 混沌是自然界与人类社会普遍存在的运动形 为同一核函数)，权矢量0∈R,误差变量：∈ 式，对于混沌动力学系统的研究已成为动力系统 R,b是偏差量，Y是可调参数.核函数可以将原 研究的中心内容之一.在实验中用Mackey--Glass 始空间中的样本映射为高维特征空间中的一个向 时间序列进行预测.Mackey-Glass时间序列由差 量，以解决线性不可分的问题，用拉格朗日法求解 分延迟方程产生，该方程定义如下： 这个优化问题9： dx(t=-b(t)+()for a dt L(w,6,e,a)=1 w+y 2 i=l (15) ∑a,(o(s;)+b+i-) 其中，a=0.2,b=0.1.当x>16.8,动力学系统 变为混沌状态，因此选择x=30.实验任务是使 其中a,i=1,…,m,是拉格朗日乘子.根据优化 用已知x=t点的值预测将来x=t+x的值.从

北 京 科 技 大 学 学 报 2 0 0 6 年第 3 期 s ( i ) = ( V , 习 · 。 ( x ) ) 一 习 a : ( 中 ( x ` ) · 。 ( x ) ) - 条件 : a L 八 万一 二 U we . 卜 O, = d 公】 习 a *由 ( s * ) a : K ( x ` , x ) , 艺= 1 , … , m ( 7 ) 同时 , K P C A 与其他 P C A 算法 一 样 , 还 需 要 对数据在特征 空 间进 行中心 化 处理 , 这 只需 用 下 列 矩 阵 K 代替核矩 阵 K 即 可 : ` = ` 一 l , ` 一 l 二 + I n KI , ( 8 ) 其 中 , ( z , ) * , , = 1 / n , i , , = 1 , ’ ` ’ , m 常用 的核 函数 有多 项式核 函数 、 径 向基 函数 、 iS g m od 函数 . 从上 面 方程 看 出 , K P C A 提取 的 最 大主 元个 数 是 n , 如 果前几 个特 征 向量 就能反 映 全部特征 , 那 么 样本 的主元数 目可 以减少 , 往往提 取的主元 数 目 m < n . 2 特征提取 后的最小 二乘支持 向量 机 用 K P C A 特 征提 取后 , 得 到 m 个 主元 , 图 1 显示 了特征 提 取后 的 机 器 学 习 系 统基 本组 成 部 分 . 训 练数据 的样 本 可 以表示 为 : ( , 1 , y l ) , ( 、 2 , y Z ) , … , ( sm , y 二 ) , 其 中 y 、 是 目标值 , 、 、 是提 取后 器 一 0一 郭 一 。 器 一 。一 。 、 一 、 a L o T ~ , 、 . , . ` 八 万一 = U ~ 曰 岁 LS 艺 ] 一 D 十 夸￡ 一 y ￡ = U O C f ( 9 ) ( 1 0 ) ( 1 1 ) ( 12 ) 优化 间题转 化为求解线性 问题 , 并且 约减后 得 到 : 「0 I T 〕 , . , } - 一 v l } b } } 0 1 { , l } J = 1 1 ( 13 ) l - 一 1 一 } } _ }一 } _ _ l 、 1 -’, ! 1 一 口 + 止 1 1以 司 ` y 习 L U y 』 其 中 , : = [ 、 1 , … , 、 二 ] , y = [ 夕 , , … , 夕。 ] , a = [ 。 1 , … , a 跳 ] , 口、。 = 中 ( x 、 ) 。 ( x * ) , i , k = 1 , … , m . 定 义 核函数 K ( s * , 凡) = 中 ( s * ) 。 ( 勺 ) , 是满 足 M e r e e r 条 件的对称函数 . 最小 二乘支持 向量 机特征提 取后 的 回归估计 为 : 数据集 特征选择后 的数据集合 数据收 集 K P C A 最小二乘 支持向量机 图 1 特征提取的机器学 习系统基本构成 F ig . 1 S tr u ct u 代 o f ma e b ien l e a 口 i gn fo r fe a t衅 e x t r a e t i o n 的输入 量 . 最小二乘支持 向量 机在 优化 目标 中的 损失 函数为误 差 羲 的二 次项 , 使得 约束条件变成 了等式 约 束 , 优 化 问题 可 以 描 述 为 求解下 面 问 题 〔8 ] : m i可 ( 。 , e ) 二 告 功 T二 , 合鑫 、 约束条件 : y 、 = ② ( 、 、 ) · 。 十 b + 氨 , i = 1 , … , m . 其中 , 中 ( · ) : R ” ~ R 、 是核 函 数 (与 K P C A 中 为 同一 核 函 数 ) , 权矢 量 。 任 R hn , 误差 变 量 誉、 任 R , b 是 偏 差 量 , 7 是可调参数 . 核 函数 可 以将原 始空 间 中的样本映射为高维特征 空间 中的一个 向 量 , 以解决线性不可 分的问题 , 用 拉格 朗日法求解 这 个优 化问题9I] : , ( s ) = 乙 a 万 ( s , s * ) + 。 ( 1 4 ) i = 1 从 上 面分 析 可以 得 到 基 于 K P C A 特征 提取 的最小二 乘支 持 向量 机 建 模算法 的具 体步 骤 如 下 : 步骤 1 选取建模数据 , 并进行预处 理 ; 步骤 2 选 取 K P C A 的核 参数 , 并进行特征 选择 , 提取 主元作为最 小二乘支 持向量机的输入 ; 步骤 3 应 用 最 小 二 乘支 持 向量 机 建 模 方 法 , 建立 基于 最小二 乘支持 向量机 模型 ; 步骤 4 进行正则 化参 数及 核参数的选择和 调整 ; 步骤 5 利用所建立 好的模型进行预测 . 3 实验分析 3 . 1 混沌时间序列预测 混沌是 自然界 与人类社会普遍存在 的运 动形 式 , 对于混沌 动力 学 系 统 的研 究 已成 为 动力 系 统 研 究的中心 内容之一 在实验 中用 M ac ke y 一 lG as s 时 间序列进行预测 , M ac k ey 一 lG as S 时 间序列 由差 分延迟方程 产生 , 该方 程定 义如下 : 丝工且 _ 一 一 口 J 、 石 , 一 「 d t a x ( t 一 r d ) 1 + x 1 0 ( t 一 t d ) fo r t d ) r 阴 L ( 。 , b , e , a ) T 。 十 y 一12 乙间 其中 。 , , i = 1 ” . , 刀 2 a * ( 。 T 。 ( 、 , ) + 乙+ 宁* 一 夕、 ) 是 拉格 朗日乘子 . 根据优化 ( 15 ) 其 中 , a 二 0 . 2 , b = 0 . 1 . 当 r > 16 . 8 , 动 力 学 系统 变为混沌状 态 , 因此 选择 T = 30 . 实验 任务 是 使 用 已知 x = t 点的值预 测将来 x = t + : 的值 . 从

Vol.28 No.3 郭辉等：基于核主成分分析与最小二乘支持向量机结合处理时间序列预测问题 305· x(501)-x(700)抽取200个数据构成训练数据 1000点的混沌时间序列模型，图2(b)表明特征提 集，从x(701)-x(1000)取300个数据构成测试 取后的时间序列模型，有200个训练数据点构成， 数据集，其中m=9,x=1.为了使最小二乘支持 *表示实际输出值.用标准均方误差(NMSE)作 向量机选取最优参数，在用VC#.net开发的最 为评价准则，定义如下： 小二乘支持向量机平台上实现了交叉验证方法， 得到优化的参数值，采用高斯核函数，即(xk, NMsE=2o%-识 x)=exp -‖-12 2g2 ,c=16.2,y=10.核 PCA的核函数也采用高斯函数.图2(a)显示了 其中，y表示预测值，y表示实际值的均值 12 1.0 0.8 04 0.201002003004005006007008009001000 0.201002003004005006007008009001000 时间 时间 图2(a)Mackey-Glass时间序列和(b)特征提取后的时间序列结果 Fig.2 (a)Mackey-Glass time series forecasting and (b)the result after feature extraction 在表1显示了初始的LSSVM,用PCA提取 优化的参数值，采用高斯核函数，即k(x,x)= 特征后与LSSVM和用KPCA提取特征后与 LSSVM的平均NMSE.可以看出，特征提取后的 exp ‖-12 22,g=9.8,y=17.7,KPCA 方法优于没有提取的方法，而且KPCA提取后的 ·的核函数以及值也都通过交叉检验得到.图3(a) 预测结果最好，但是与PCA特征提取相比，KP. 表明了时间序列预测实际模型结果，图3(b)是在 CA需要更多的主元 1920年开始进行预测，一直到1980年，图中虚线 表1平均NMSE的比较以及主要成分的数目 表示预测结果.仍用上面实验中的标准均方误差 Table 1 Comparison of normalized mean square error and score (NMSE)作为评价准则，表2可以看出得到与上 vector number 个实验相同的结论，使用KPCA和PCA特征提取 方法 NMSE 主成分数目 后的时间序列预测效果优于没有提取的预测， LSSVM 0.0998 17 KPCA提取后得到最小的标准均方误差，但是与 PCA+LSSVM 0.0728 8 PCA提取后的预测相比，KPCA需要大量的主成 KPCA+LSSVM 0.0625 145 分，这就需要大量的时间进行计算 表2平均NMSE的比较以及主要成分的数目 3.2 Sunspots数据集时间序列预测 Table 2 Comparison of normalized mean square error and score 这里用sunspots数据集测试.sunspot数据集 vector number 长期以来一直是标准的测试数据集，可以从网络 方法 NMSE 主成分数目 中获得这个数据集.数据集记录从1700一1979 LSSVM 0.273 15 共280年的太阳黑点数据.在实验中用1700-一 PCA LSSVM 0.254 9 1920的数据作为训练数据，剩下的1921一1979 KPCA+LSSVM 0.197 138 数据用来作为测试数据.通过五重交叉检验得到

V o l 。 2 8 N o . 3 郭辉等 : 基于核主成分分析 与最小二乘支持向量机结合处理时间序列预 测问题 x ( 5 0 1 ) 一 x ( 7 0 0 )抽 取 2 0 0 个 数据构 成划I}练 数据 集 , 从 x ( 7 0 1 ) 一 x ( 1 0 0 0 )取 3 0 0 个 数据构成 测试 数据 集 , 其 中 m = 9 , r 二 1 . 为 了使最 小二乘支持 向量 机选取 最 优参数 , 在 用 V C # . ne t 开发 的最 小二乘 支持 向量 机平 台上 实现 了交叉 验证方法 , 得到优化 的参 数值 , 采用 高斯 核 函 数 , 即 k ( x 、 , 1 0 0 0点的混沌时 间序列模 型 , 图 2 ( b) 表 明特征 提 取 后的 时间序 列模型 , 有 2 0 个训练数 据点构成 , * 表示 实际输出值 . 用标 准均 方误差 ( N M SE )作 为评价准则 , 定 义如 下 : x , ) 一 。 x p ( !! x * 一 x ` }1 2 , 2 , a 二 16 . 2 , y = 10 . 核 N M S E 一 六客 (一 、 ) 2 护 一 六 乡 \ 一 孙 P C A 的核 函数也 采 用 高斯 函数 . 图 2 ( a) 显 示 了 其中 , 夕表示 预测值 , y 表示实 际值的均 值 . 1 . 6 1 . 4 料W大 1 . 2 1 . 0 气 . 入 恻习潺 . 划田潺 0 . 6 0 4 0 2 在五茄万赫百赫炭万荪兀标于赫面赤谕扁 00 时间 图 2 ( a ) M a c k e y 一 G l a s s 时’lq 序列和 ( b )特征提取后 的时’lq 序列结果 F i g . 2 《 a ) M a e k e y · lG a ss t i me s e r i es fo r e . : as t i n g an d ( b ) t h e r e s日 t a n e r 介 a tur e e x t r a c t i o n 在表 1 显示 了初 始 的 L S SV M , 用 P C A 提取 特征 后 与 L S S V M 和 用 K P C A 提 取 特 征 后 与 L S v M 的平 均 N M S E . 可 以看 出 , 特征提 取后 的 方法优 于没有 提 取 的方法 , 而 且 K P CA 提 取 后 的 预测 结果 最好 , 但 是 与 P C A 特 征提 取 相 比 , K P - C A 需要更多的 主元 . 优 化的参数值 , 采 用高斯 核 函 数 , 即 k ( x 、 , x ` ) = e x p } 」丛 二主姿 时) 八 _ 2 ) , 石 U a = 9 . 8 , 了 = 17 . 7 , K P C A 表 1 平均 N M sE 的比较以 及主要成分的数 目 T a b l e 1 C o n , P a r i s o n o f n o r m a l i z e d m e a n sq u ar e er r o r an d s e o r v e d o r n u 刃n b e r 方法 N M S E 主 成分数 目 L S S V M 0 . 0 9 9 8 P CA + L S SV M 0 . 0 7 2 8 K P C A + L S SV M 0 . 0 6 2 5 3 . 2 s u n sP ot s 数据 集时 间序列预测 这里用 s u n s p o t s 数据集测 试 . S u n s p o t 数据集 长期 以来一直 是标准 的测试 数据 集 , 可 以从 网络 中获得 这个 数据 集 . 数 据 集记录 从 1 7 0 0一 1 9 7 9 共 2 80 年 的太 阳 黑 点 数据 . 在 实 验中用 17 0 0一 1 9 2 0 的数据 作为 训 练 数 据 , 剩 下 的 1 9 2 1一 1 9 7 9 数据用来作为测试 数据 . 通过 五重 交叉 检验得到 的核函 数 以及值也都通过 交叉 检验得 到 . 图 3 ( a) 表 明了 时间序列 预测实际模型结 果 , 图 3 ( b) 是 在 1 9 2 0 年开始 进行预 测 , 一 直到 19 8 0 年 , 图中虚 线 表示 预测 结果 . 仍用 上面 实验 中的标 准均 方误 差 ( N M S )E 作为 评价准 则 , 表 2 可 以看 出得 到 与上 个 实验相同的结论 , 使用 K p C A 和 p (: A 特征提 取 后 的 时 间 序 列 预 测 效 果 优 于 没 有 提 取 的预 测 , K P C A 提取 后得 到 最 小 的标准 均方 误 差 , 但 是与 P C A 提取后 的预 测相 比 , K P C A 需要 大量 的主 成 分 , 这就需 要大量的时 间进行计 算 . 表 2 平均 N M S E 的比较以 及主要成分的数 目 aT b l e 2 C om Pa r i s on o f no r m a liez d me a n s q au 比 e r or r 阻d s e o r e v e d o r n u n l b e r 方法 N M S E 主成分数 目 L S SV M 0 . 2 7 3 1 5 P 〔! A + L S S V M 0 . 2 5 4 K P C A + L S S V M 0 . 1 9 7

·306· 北京科技大学学报 2006年第3期 200 200 180 180 160 160 140 120 100 80 60 60 20 1700 1750 1800 1850 1900 1950 880 1900 19201940 1960 1980 年份 年份 图3(a)Sunspots数据集时间序列和(b)特征提取后的预测结果 Fig.3 The predicted result of sunspots (a)and feature extraction(b) Conference.Budapest,2001:191 4结论 [3]Suykens J A K,Vandewalle J.Least squares support vector 提出了在KPCA特征提取后，用最小二乘支 machine classifiers.Neural Process Lett,1999,9(3):293 [4]Muller K R A,Smola G,Ratsch B,et al.Predicting time se- 持向量机对时间序列进行预测.实验仿真结果表 ries with support vector machines /Proceedings of ICANN 明，特征提取后的预测效果优于没有预测的效果， '97.Berlin:Springer,1997:999 降低了样本的维数，提高了训练的泛化能力，而且 [5]Maguire L P,Roche B,Mcginnity T M,et al.Predicting a KPCA比PCA提取的效果更加明显，原因在于 chaotic time series using a fuzzy neural network.Inf Sci, KPCA能处理原始输入的高阶信息，而PCA只能 1998,112:125 [6]Scholkopf B,Smola A J,Miller K R.Nonlinear component 处理样本的二阶协方差矩阵，但是KPCA得到的 analysis as a kernel eigenvalue problem.Neural Comput, 主元数目却远大于PCA得到的，这样就要损失大 1998,10:1299 量的时间，将来的工作是要研究减少KPCA所需 [7]Mika S,Scholkopf B.Smola A J,et al.Kernel PCA and de- 的主成分数量，提高训练时间. noting in feature spaces//Advances in Neurai Information Pro cessing Systems I.Cambridge:MIT Press,1999:536 参考文献 [8]Suykens J A K,van Gestel T,de Brabanter J,et al.Least Squares Support Vector Machines.World Scientific,2002 [1]Vapnik V N.统计学习理论的本质.张学工，译，北京：清 [9]Suykens J A K,Vandewalle J.Least squares support vector 华大学出版社，2000 machine classifiers.Neural Process Lett,1999,9(3):293 [2]Suykens J A K.Nonlinear modeling and support vector ma- chines//IEEE Instrumentation and Measurement Technology Integrating kernel principal component analysis with least squares support vector machines for time series forecasting problems GUO Hui,WANG Ling,LIU Heping Information Engineering School,University of Science and Technology Beijing,Beijing 100083,China ABSTRACT This paper discusses least squares support vector machines(LSSVM)in the time series fore- casting problem.Kernel principal component analysis (KPCA)is proposed to calculate principal compo- nent.Least squares support vector machines are applied to predict time series.Experimental results show that the performance of LSSVM with feature extraction using KPCA is much better than that without fea- ture extraction.In comparison with PCA,there is also superior performance in KPCA. KEY WORDS principal component analysis (PCA);least squares support vector machines (LSSVM); kernel principal component analysis (KPCA);time series forecasting

3 0 6 北 京 科 技 大 学 学 报 2 0 0 6 年第 3 期 2 0 0 2 0 0 180 160 14 0 120 1 00 80 6 0 4 0 2 0 0 一 耐汕{ {{例 找粼毗舀拭血 皿氧城嘟长ha 19 5 0 1 88 0 19 0 0 19 20 194 0 19 6 0 19 80 年份 图 3 ( a ) 年份 F ig . 3 T址 su sn op st 数据集时间序列和 ( b) 特征提取后的预测结果 p r e d i e et d 旧 lu t o f s u sn 即 st 【a ) a n d afe t u代 e x tar e t i o n 《 b ) 4 结论 提出 了在 K P〔: A 特征 提取 后 , 用最 小二乘支 持 向量机对 时间 序列 进行预测 . 实验仿真 结果 表 明 , 特征提取后 的预 测效果 优于 没有预 测的效果 , 降低 了样本的维数 , 提 高 了训 练 的泛 化能力 , 而 且 K P C A 比 P CA 提取 的效果 更 加 明显 , 原 因在 于 K P C A 能处理 原始输入 的高阶信息 , 而 P C A 只 能 处理样本的二 阶协方差 矩 阵 . 但是 K P C A 得 到 的 主元 数 目却远大 于 P C A 得到 的 , 这样就要损 失大 量 的时 间 , 将来的工 作是要 研 究减少 K P C A 所 需 的主成分 数量 , 提 高训练时 间 . 参 考 文 献 【1 1 V aP in k v N . 统计学习 理论 的本质 . 张学 工 , 译 . 北 京 : 清 华大学 出版社 , 2 0 0 〔2 」 S u y k e ns J A K . 吻记i n e ar om d e ls n g a n d S u p卯 r t v e e t o r am - e h i n es / IE E E I n s t r u m e n t a t i o n an d M e as ur e m e n t eT e h n o ogl y [ 5 〕 [ 6 3 [ 7 ] [8 〕 〔9 〕 Cb n f e r e n e e . B u e l a p e s t , 2 0 0 1 : 1 9 1 S u y k e n s J A K , V an d e w al l e J . L e as t s q u a r e s s u p op rt v e e t o r m ac h i n e e l as if i e rs . N e u ar l P ocre s L e t t , 1 9 99 , 9 ( 3 ) : 2 9 3 M ul e r K R A , S om l a G , R巨t s e h B , e t al . P r e d i e t i昭 t im e s e - r ies w i t h s u p卯rt v e e t or m a e h i n es / P ro c e e d i n g s o f I C A N N ’ 97 . B e r li n : S p r i飞 e r , 19 9 7 : 9 9 9 M昭 u i r e L P , oR e h e B , M e g i n n it y T M , e t a l . P r e di e t i n g a e ha o t i e t im e s e ir es u s i吧 a fu z z y n e u r a l n e t w o r k . I n f S e i , 19 9 8 , 1 12 : 1 2 5 S e h 6 1k o p f B , S n l o l a A J , M 让ller K R . N o r di n ea r e om p o n en t a n al 外 1 5 邵 a k e r n e l e i g e n v a l u e p ro b l e m . N e u r al C o m pu t , 19 9 8 , 10 : 1 2 9 9 M i k a S , S e比 Ik o p f B , S l l l o l a A J , e t al . K e rn e l P C A a n d d e - ont i飞 i n f aet ur e s p a e e s / A d v an e e s i n N e u r a l x n f o rm at i on P r o - e e s s i呢 S y st ems n . C a m b r id g e : M I T P r e s s , 19 9 9 : 53 6 S u y k e n s J A K , v an G e s t e l T , d e B r a b a nt e r J , e t al . L e a s t S q u ar e s S u POP rt V e e t o r M ac h i n e s . Wo r ld S e i e n t if i e , 2 0 0 2 S u y k e n s J A K , V 胡 d e w a ll e J . L e a s t s q u a r es s u p脚r t v e e t o r m a e ih n e e las s if i e rs . 陇 u ar l p r o c es s L e tt , 19 9 9 , 9 ( 3 ) : 2 9 3 飞JI es 几 J j4 r.l .LF I n t e g r a t i n g k e r n e l p r i n e ip a l e o m p o n e n t a n a l y s i s w i t h l e a s t s q u a r e s s u Pp o r t v e e t o r m a e h i n e s f o r t i m e s e r i e s f o r e e a s t i n g P r o b l e m s G 〔7O H “ 艺 , WA N G iL n g , L I U eH iP n g I n f 。 ~ t io n E ; 、 g i n e e r i n g S e h o l , U n i v e r s工t y o f S e ien e e an d T ce h on ol g y B e ij i飞 , B e ij i飞 10 0 0 8 3 , C h i n a A B S T R A C T T h i s p a p e r d i s e u s s e s l e a s t s q u a r e s s u p p o r t v e e t o r m a e h i n e s ( L S S V M ) i n t h e t i m e 。 e r i e s of r e - e a s t i n g p or b l e m . K e r n e l p r i n e i p a l c o m p o n e n t a n a l y s i s ( K P C A ) 1 5 p r o p o s e d t o c a l e u l a t e p r i n e i p a l c o m p o - n e n t . L e a s t s q u a re s s u p p o r t v e e t o r m a e h i n e s a r e a p p li e d t o p r e d i e t t im e s e r i e s . E x p e r im e n t a l r e s u l t s s h o w t h a t t h e p e r f o r m a n e e o f L S S V M w i t h f e a t u r e e x t r a e t i o n u s i n g K P C A 1 5 m u e h b e t t e r t h a n t h a t w i t h o u t f e a - t u r e e x t r a e t i o n . I n e o m P a r i s o n w i t h P C A , t h e r e 1 5 a l s o s u p e r i o r P e r fo r m a n e e i n K P (:A . K E v WO R D S p r i n e i p a l c o m p o n e n t a n a l y s i s ( P C A ) ; l e a s t S q u a r e s S u p p o r t v e e t o r m a e h i n e s ( L S S V M ) ; k e r n e l p r i n e i p a l e o m p o n e n t a n a l y s i s ( K P C A ) ; t i m e S e r i e S f o r e e a s t i n g