D01:10.13374/j.1ssn1001-053x.2001.05.024 第23卷第5期 北京科技大学学报 Vol.23 No.5 2001年10月 Journal of University of Science and Technology Beijing 0ct.2001 基于小波神经网络的混沌模式提取 江亚东”丁丽萍)夏克俭)李恪)陈因颀) 1)北京科技大学信息工程学院，北京1000832)中国科学院管理干部学院，北京101416 摘要分析了小波基函数对于确定模式、混沌模式及随机模式所表现出来的不同的收敛特 性，提出构造一个小波神经网络及相应学习算法.利用小波网络在学习过程中神经元的不同增 长趋势来反映上述收敛性的差异，从而将3种不同的模式子以区分，并将混沌模式从中提取出 来. 关键词KDD:小波神经网络：混沌模式 分类号TP18 KDD(Knowledge Discovery in Database 良好的时频特性.这在小波网络进行非线性逼 基于数据库的知识发现)在工程应用领域一般 近时具有更好的收敛性 称为数据发掘，可以不加区分地使用 定义在一个神经网络中，如果网络的传递 在KDD系统中，目前的工作主要是确定性 函数是由一个小波函数系构成，则该神经网络 规则的挖掘，诸如：关联规则、分类规则、序贯模 称为小波神经网络（如图1）. 式、时间序列等；也有部分关于模糊规则的挖 掘.本文则集中于混沌模式的挖掘 混沌是非线性系统中的一个重要概念.文 a 献[3]介绍了一种发现混沌模式的网络(CPDN) 算法.该算法主要通过隐层节点在学习过程中 f(x) 根据观察样本的“新息”大小来动态分配，并引 人基函数裁减机制，以使学习后的网络可以充 分表达所学习的信息，进而将混沌模式挖掘出 来.但该文用的网络是RBF网络，需事先对数 图【小波神经网络拓扑结构图 据集进行聚类分析，以确定RBF网络的参数， Fig.1 Topology Structure of Wavelet Neural Network 这加大了数据挖掘的工作量.本文则使用小波 从输人层输入的信号，《x1,x,xn),经中间 神经网络，无需事先对数据进行与网络参数相 层网络传递函数(X-b)/a,)映射，得到一组由 关的处理，并从小波基函数通近的角度来展开 小波基函数中(x,-b)/a),中(x,-b)/a).…,中(x,- 对混沌模式的挖掘 b,)/a,=l,2,…n)表达的神经元变换.该组变换再 1小波神经网络的构造及学习算法 经过变换系数（相当于隐层与输出层的联结权 重)的相乘运算，最后由输出层求和输出 由于小波变换函数有着各种各样的形式， fM=乏wp(色 (1) 因此小波神经网络的形式也是多种多样的.但 a 目前常用的小波神经网络的基本模型是一种单 这个模型虽然并不复杂，但功能确很强.这 是因为该型网络的传递函数具有小波变换的坚 隐层前馈型网络；又由于小波函数有着良好的 实的数学基础. 时频局域特性，这使得小波网络也相应地具有 首先，小波母函数()应满足容许条件： 收稿日期200102-25江亚东男，44岁，副教授，博士 odo<o (2) *国家自然科学基金重点资助课题(No.69835011)
第 卷 第 期 年 月 北 京 科 技 大 学 学 报 成 伙 如 基于小波神经网络的混沌模式提取 江 亚 东 ” 丁 丽 萍 ” 夏克俭 ” 李 格 ” 陈 因顽 ” 北京科技大学信息工程学院 ， 北京 中国科学院管理干部学院 ， 北京 摘 要 分析 了小波基 函数对 于 确定模式 、 混沌模式及 随机模式所表现 出来 的 不 同的收敛特 性 ， 提 出构造一个小波神经 网络及相应学 习算法 利用 小波网络在学习 过程 中神经元 的不 同增 长趋 势来反映上述收敛性的差 异 ， 从而将 种不 同的模式予 以 区 分 ， 并将混沌模式从 中提取 出 来 关键词 小波神经 网络 混沌模式 分类号 一 基 于 数据库 的知识发现 在 工程应用 领域一一般 称 为数据发掘 ， 可 以不 加 区 分地使用 ” ， 在 系统 中 ， 目前 的工作 主 要 是确定性 规则的挖掘 诸如 关联规则 、 分类规则 、 序贯模 式 、 时 间序列 等 也有部分关于模糊 规则 的挖 掘 本文 则集 中于混沌 模式 的 挖掘 混沌是非线性 系统 中的一 个重要概 念 文 献 〕介绍 了一 种 发 现混沌 模式 的 网络 算法 该算法 主要通 过 隐层节点在学 习 过程 中 根据观察样 本 的 “ 新息 ” 大小来 动态 分配 ， 并 引 人 基 函数裁 减机制 ， 以使学 习 后 的 网络可 以充 分表达 所学 习 的信息 ， 进而将混沌模式挖掘 出 来 但该文用 的 网络是 网络 ， 需 事先对数 据集进行 聚类分析 ， 以 确定 网络 的参数 ， 这加大 了数据挖掘 的工作量 本 文则使用 小波 神经 网络 ， 无需 事先对数据进行 与 网络参数相 关 的处理 ， 并从小波基 函数逼 近 的角度 来展 开 对混沌模式 的挖掘 良好 的时频特性 这 在 小 波网 络进行非 线性 逼 近 时具有 更好 的收敛性 定 义 在一个神经 网络中 ， 如 果 网络 的传递 函数是 由一个小 波函数系构成 ， 则该 神经 网络 称 为小 波神经 网络 如 图 图 小 波神经 网络 拓 扑 结构 图 如 小波神经网络的构造及学习算法 由于 小 波变换 函 数有 着 各种各样 的形式 ， 因此小波神经 网络 的形式也是 多种 多样 的 但 目前常用 的小波神经 网络的基本模型 是一种 单 隐层前馈 型 网络 又 由于 小波 函 数有着 良好 的 时频局 域特性 ， 这使得小波网络也相 应地具有 从输人层输人 的信号 ，双 、 ，为 ， 二 ， ， ， 经 中间 层 网络传递 函数抓优一 ，， 映射 ， 得到一组 由 小波基 函数价 ，一 ， 〕 ，咖 ，一 ，， ， … ， 必 ，一 ，， ’ ， ，… 。 表达 的神经元变换 该组 变换再 经过变换 系数 关相 当于 隐层 与输 出层 的联 结权 重 的相乘运 算 ， 最后 由输 出层 求和输 出 几劝 艺 劝碑“ 互 这 这个模型 虽 然并不 复杂 ， 但功 能确很强 是因 为该型 网络 的传递 函数具有小波变换 的坚 实 的数学基础 首 先 ， 小波母 函数沪因应满足 容许条件 收稿 日期 刁 一 ， 江 亚 东 男 ， 岁 ， 副教 授 ， 博士 国家 自然科学基金重点 资助课题 智毛 。 、 DOI ：10．13374／j ．issn1001－053x．2001．05．024
Vol.23 No.5 江亚东等：基于小波神经网络的混沌模式提取 ◆475· 式中，(w)为()的Fourier变换.该条件确保小 -720W-州86-72wo Ab,=-Y 0b. 波神经网络具有有限能量. (9) 以此母波构造的小波基中(X-b,)/a(=1,2, 具体求解步骤是：Stepl,初始化网络，赋予 …,m),可用于隐层神经元的非线性变换.在小波 w,为随机值，a=2,b,=l;Step2,输人任一模式At, 基中，参数a,b的引人，可保证小波函数具有良 好的时频特性.其中a为伸缩因子，不仅改变小 根据0-三wp心。求出输出值：Sep3,根据 波函数的窗口大小与形状，而且改变小波基的 (5)式求出网络均方误差E.Step4,由梯度下降法， 频谱结构.b为平移因子，基函数覆盖整个空间. 按(7)式及w=w,+△w,调整权重；按(8)及a,-aw, 由上式导致的∫(x)d<+o可知，传递函数的 +△a,;(9)式及b,=b,+△b,调整a,b参数；Step5.选取 确具有很好的局域性 另一个模式，输入网络，返回步骤3重复上述步 因此，对于任一非线性函数fL(R),由 骤进行学习.直至全部P个模式学习完毕；Step6, 上式构造的小波神经网络可以得到式(1)所表示 返回步骤2，重复上述过程，直至网络误差小于 的小波网络映射模型)=立w中，二，使得对 给定值. a 于足够大的n,有y-f八<e. 2小波神经网络对混沌模式的提取 关于小波基的选取，由于所面临的对象及 所解决的问题不同，会用到不同形式的小波函 2.1数据库中的3个模式 数.如正交、非正交小波；连续、离散小波等.本 在数据库中，考察任意2个属性之间的关 网络采用非正交小波，在学习过程中，一方面不 系，它们之间的关系便构成一个模式.下面给出 断地调整网络权重W,的值，同时还要在学习过 数据库中3个模式的定义 程中不断的调整伸缩因子和平移因子参数，因 (I)确定模式(determinate pattern. 此该型网络表现出较强的灵活性和较高的逼近 定义1如果2组属性数据之间的关系是用 能力. 种确定性的函数映射来刻划的，则这两组数 小波神经网络学习算法的基础是梯度下降 据属于确定模式 法.设网络输入为X=(x,x2,x,…,x,),网络输出为： (2)混沌模式(chaotic pattern). 0=三w(色 (3) 定义2如果2组属性数据之间的关系是用 a 一种混沌映射来刻划的，则这2组数据属于混 则第k个模式的误差为： 沌模式. B=2-9k1,2p) (4) (3)随机模式(stochastic patter). 其中y为第k个模式的期望值.而所有输入模式 定义3如果2组属性数据之间的关系是用 的误差平方和为： 一种随机关系刻划的，则这2组数据属于随机 E=8=0W明 (5) 模式. 据最小均方误差规则，w:应按正比于误差 上述定义也可以推广到多组属性数据之 负偏导方向变化 间，并且符合传递性.即如果A,A2之间是混沌模 -a-aw-内86-ady △w,=一0w, 式，A,A之间是混沌模式，则A,A之间也是混沌 (6) 模式. 由于w,的修正应使所有模式的误差平方和 设有Attribution1和Attribution2.,由关于数 为最小，因此△w,应正比于所有模式的负梯度 据库多种模式的存在的讨论可知，该2个属性 之和 之间或者是确定模式，或者是混沌模式，再或是 △w,=- 2E=aw-fm头=a2d种(m 0w, Ow, 随机模式，三者必居其一.对混沌模式的挖掘， 同理还可求出： 实际上是对3个模式的鉴别 a=-器-zW-刊8G= 2,2对3个模式的特征分析 在数据库中，对待处理的数据，无法预知数 B∑w,da,2x-b," (8) 及 据间的关系，因此只能用x)=∑w中x)的形式去 0 逼近待求的关系或者说模式s(x).在小波神
江 亚 东等 基 于 小波 神经 网络的混沌模式提取 式 中 ，柯。 为价因的 变换 该条件确保小 波神经 网络具有有限能量 以 此母波构造 的小波基拟伏‘ ， ，户 ，， … ，间 ， 可 用于 隐层神经元的非线性变换 在小波 基 中 ， 参数， 的引人 ， 可 保证小波 函 数具有 良 好 的时频特性 其 中 为伸缩 因子 ， 不 仅改 变小 波 函 数 的窗 口 大小 与形状 ， 而 且 改变小 波基 的 频谱结构 为平移因子 ， 基 函数覆盖整个空 间 由上 式导致 的 价 可 知 ， 传递 函数的 确具有很好 的局域性 因此 ， 对 于任一非线性 函那以趁厂 ’ ， 由 上式构造 的小波神经 网络可 以得到式 所表示 狮 波 网络映射模 。 一 鲁呻导 ， 使 。 于 足 够大 的 ， 有 沙一月 反 关于小波基 的选 取 ， 由于所面 临 的对象及 所解 决的 问题不 同 ， 会用 到 不 同形 式 的小波函 数 如正 交 、 非正交小波 连续 、 离散小波等 本 网络 采用 非正 交小波 ， 在学 习过程 中 ， 一 方 面不 断地调 整 网络权 重 琳的值 ， 同时 还 要 在学 习 过 程 中不 断的调 整 伸缩 因子 和 平移 因 子参数 ， 因 此该型 网络表现 出较强 的灵 活性和 较高的逼近 能力 小波神经 网络学 习算法 的基础是梯度 下 降 法 设 网络输人 为 ，丙丙 ，… 几 ， 网络输 出为 ， 一会 一 ， 、 一 · 器 一 ，冬 、 ， ， 具体求解 步骤是 ， 初 始化 网络 ， 赋予 ，为随机 值 ， 月 ， 产 ， 输人 任一 模式 ， 根嗣 一 鲁、 挚 求 出输 出值 ， 根据 式求出网络均方误差 ， 由梯度下 降法 ， 按 式及 产 ‘ 地 ，调 整 权重 按 及 ， △ 式及 尸 △ ，调 整 ， 参数 选取 另一个模式 ， 输人 网络 ， 返 回 步骤 重复上述步 骤进行学 习 直至全部尸个模式学 习 完毕 ， 返 回步骤 ， 重复上述过程 ， 直至 网络误差 小 于 给定 值 刀刀 二 艺 砂详华 竺 试 则第 个模式 的误差 为 二 一 李鲁份一州 ， ， ， 尹 其中犷为第 个模式的期望值 而 所有输人模式 的误差平方 和 为 ‘ 一 孙 一 李叠汉一州 据最小均 方误差规则 ， ， 应按 正 比于 误差 负偏导方 向变化 刁云 ， 、 刁产 △琳 一 “盆 一 “ 护一户 ’ 箭 一 口试劝犷 由于琳 的修正应使所有模式 的误差平 方和 为最小 ， 因此△琳 应正 比于 所有模式 的 负梯度 之和 艺 ， ‘ ，，、 刁 一 ‘ ‘ △ ‘ 一 节潇 一 护一户 · 盆 一 “ 干即 同理还 可求 出 。 刁艺 。 一 ， ‘ ， 、 刁产 △， 一买瑟 一 刀艺伊一 蓄 刀干六 ， 一 冲犷 ‘ 及 小波神经网络对混沌模式的提取 数据库 中的 个模式 在 数据库 中 ， 考察任意 个属 性 之 间的关 系 ， 它们之间 的关系便构成一个模式 下 面给 出 数据库 中 个模式 的定 义 确定模式 · 定 义 如果 组属 性数据之间 的关 系是用 一 种确定性 的 函数映 射来刻划的 ， 则这两 组 数 据属 于确定模式 混 沌模式 · 定 义 如果 组属性数据之 间 的关 系是用 一 种混沌 映射来刻划 的 ， 则这 组数据属 于 混 沌模式 随机模式 · 定 义 如果 组 属性数据之 间 的关 系是用 一种 随机关系刻划 的 ， 则 这 组数据属 于 随机 模式 上 述 定 义 也 可 以 推广 到 多 组 属 性 数据 之 间 ， 并且 符合传递性 即如果 洲 之间是混沌模 式 ，成刀 。 之间是混沌模式 ， 则 ，界 ， 之 间也是混沌 模式 设有 和 ， 由关 于 数 据库 多种模式 的存在 的讨论可 知 ， 该 个属 性 之间或者是确定模式 ， 或者是混沌模式 ， 再或是 随机模式 ， 三 者必居 其一 对混 沌模式 的挖掘 ， 实际上是对 个模式 的鉴别 ， 对 个模式的特征分析 在数据库中 ， 对待处理 的数据 ， 无法预知数 据间的关系 ， 因此只 能用 艺 劝众 的形式去 司 逼近 待求 的关系或者说模式 在小 波神
·476. 北京科技大学学报 2001年第5期 经网络中就是网络联结的权重.用小波网络去·异，即对于确定模式，收敛性极快：对于随机模 通近一个模式时，可以通过逼近过程的不同表 式将永远不能收敛；而对于混沌模式则收敛较 现形式，判断出逼近模式的类型.考虑下面3种·慢但可以完全收敛.相应地，在这里，我们将构 情况. 造一个小波神经网络)=2wφ，心二去实现 对于确定性模式，两个属性AttributionXI和 上述逼近过程并据以判别3个模式.小波基函 AttributionY1之间有着一种明确的函数映射关 数选用Mexican Hat函数. 系，即存在一种y=孔x)的关系.此时，从小波分 析的角度，总可以用不同频率成分的展开项去 3混沌模式提取的仿真实验 逼近f孔x).由于符合yf代x)关系的数据相互之间 包含极强的相关性，因此通常它们所包含的频 本实验基于Access数据库.在该库中，存有 率成分是有限的，因而也可以用有限的不同频 3个模式下的各2000个样本记录数据集.数据 率的小波项去逼近它.在某些情况下，复杂的 库的数据有属性AttributionX1,AttributionX2; 孔x)会包含很多的频率项，但由于小波的局域 AttributionY1,AttributionY2:AtributionZl,Atri- 性非常好，高频部分会很快地衰减.因此，不管 butionZ2.将上一节的小波神经网络应用于本节 八x)的形式有多么复杂，总可以构造一个以小 的数据关系.为求逼近项数N,进行如下运算步 波函数为基的展开式s(x)=∑wpx)去逼近fx). 骤. 设有N个神经元时的误差为： 其中中以x)为小波基，不同的项包含不同的频 率0，这种逼近总可以是相当精确的.也就是说， .-oP (10) 对于任给的6>0，总可以找到N,当N足够大时， 对任意的Ew设定一个逼近误差值ε.再按 总可以使得代x)-<6.函数的复杂只对逼近 下列步骤求N 项数有影响，对逼通近精度没有决定性的影响. Stepl,设小波网络的神经元个数N=l;Step2, 对于混沌模式，两个属性AttributionX2和 对网络初始化，设定w,取随机值，a=2,b=1; AttributionY2之间有内在的确定性联系，但数据 Step3,输人一个样本值，)=2wp心-b求 a 表现出外在的随机形态.这时，数据之间仍有一 出f(x);Step4,由式(I0)求出E;Step5,如果E, 定的相关性，但相关性不如确定性关系那么强. <e,则转至Step2,直至样本输人完毕，否则，继 正是因为相关性诚弱，所以才有外在随机性的 续下一步；Step6,按节2的学习算法求w1,a,b,循 表现.相关性的减弱，说明数据间的频率成分展 环直至E,最小；Step7,若在规定循环次数内E,≮ 宽.因此用sx)=Σw中，(x)去逼近混沌模式所包含 e,则再增加一个神经元中(X-b1)a1).再求 的关系时，就需要计算更多的频率项并求出合 0=Σwp心二b),并返回Sep4.如此循环，直至 a: 适的W,才能较好地实现这种逼近.因此，这就 结束.本实验的e值取0.2-0.08. 需要更多的小波项才能逼近混沌模式，也就是 下面详细介绍小波网络对3个模式的判别. 说，对于任给的6>0，所需要的N将会更多.但 (I)AttributionX1和AttributionX2之间存在 仍可以找到N,当N足够大时，总可以使得(x人 一种确定关系： s<6. xm1=f八x)=2.95x(1-x) (11) 对于随机模式，数据之间没有任何相关性， 此为Logistic映射，a=2.92,映射处于非混沌区. 因此，在随机模式的时频特性中，从理论上说， 属性数据由初值x。0.5结合(11)叠代产生.对于 数据间包含的频率成分可能是无限的.这时，始 该模式下的数据，运用到上面构造的小波网络， 终找不到一个对应着给定的6>0的有限的N, 经过800~1000次左右的学习后，可以得到小波 当N足够大时，使得x)-y<6.而式(3)中， 网络逼近项随着数据样本不断输人而呈现的趋 每一个基函数项只包含一个频率成分，因此它 势图（图2）. 需要有无穷多个逼近项才能重构随机模式所表 (2)AttributionX2和Attribution Y2之间存在 达的某种关系 混沌关系： y=f八x)=4x(1-x) (12) 由上面的分析可以看出，小波函数是在对 当a-4,映射处于混沌区.AttributionY2属性 上述3个模式的逼近将呈现出明显的收敛性差
一 北 京 科 技 大 学 学 报 年 第 期 异 ， 即对于 确定模式 ， 收敛性极快 对于 随机模 式将永远 不 能 收敛 而对 于 混沌模式则 收敛较 川艺间 经 网络 中就是 网络联结 的权重 用 小波 网络去 ’ 逼 近 一个模式 时 ， 可 以 通 过逼 近 过程 的不 同 一 表 现形式 ， 判断出逼近模式 的类 型 考虑下 面 种 情况 对于确定性模式 ， 两个属性 和 之 间有 着一 种 明确 的 函数 映射关 系 ， 即存在 一 种厂尹 的关 系 此 时 ， 从小波分 析 的 角度 ， 总可 以 用 不 同频率成分的展 开项 去 逼勿丈 由于符合产八 关系的数据相互之间 包含极 强 的相 关性 ， 因此通 常它们所包含 的频 率成分是有 限 的 ， 因 而 也可 以用 有 限 的 不 同频 率的小 波项 去逼 近 它 在某些 情况 一 下 ， 复杂 的 会包含 很 多 的频率项 ， 但 由于 小 波的局 域 性 非常好 ， 高频部分会很快地 衰减 因此 ， 不 管 刀 的形式有 多 么 复杂 ， 总 可 以 构造一 个 以小 波 函数为基 的展开式 二 艺 劝 少 去逼 近广 ，司 其 中以 为小波基 ， 不 同 晰项 包含 不 同的频 率心 这种逼近总 可 以是相 当精确的 也就是说 ， 对于任给 的占 ， 总可 以找 到 ， 当 足 够大时 ， 总可 以使得叭 一 占 函数 的复杂 只对逼 近 项数有影 响 ， 对逼近精度没 有决定性 的影 响 对 于 混沌模式 ， 两 个属 性 和 之 间有 内在 的确定性联系 ， 但数据 表现 出外在 的 随机形态 这时 ， 数据之 间仍有一 定 的相关性 ， 但相关性不 如确定性 关系那么 强 正 是 因 为相 关性减弱 ， 所 以 才有外在 随机性 的 表 现 相关性 的减弱 ， 说明数据间 的频率成分展 宽 因此用 二 艺 劝 了 去逼 近混沌模式所包含 月 的关 系时 ， 就需要 计算更多 的频率项 并求 出合 适 的 码 才能较好地 实现这种 逼近 因 此 ， 这 就 需 要更 多的小波项 才能逼近混沌模式 也就是 说 ， 对于 任给的占 ， 所需 要 的 将会更 多 但 仍可 以找到 ， 当 足够大时 ， 总 可 以使得盯 占 对于 随机模式 ， 数据之间没有任何 相关性 ， 因 此 ， 在随机模式 的 时频特性 中 ， 从理论 上说 ， 数据 间包含 的频率成分可 能是无限 的 这时 ， 始 终找不 到一 个对应着给定 的占 的有 限的从 当 足 够大 时 ， 使得叭 一到 占 而 式 中 ， 每一 个基 函数项 只包含一个频 率成分 ， 因 此它 需要有无穷多个逼近 项 才能重构随机模式所表 达 的某 种 关 系 由上 面 的分析 可 以 看 出 ， 小 波 函 数是在对 上述 个模式 的逼 近 将呈 现 出 明显 的 收敛性差 · 慢但可 以 完全 收敛 相 应地 造 一 个 小 波神经 网络只幻 二 上述逼 近 过程并据 以判别 数选 用 函 数 在这里 ， 我们将构 、 带 去 实 现 个模式 小波基 函 混沌模式提取的仿真实验 本实验基 于 数据库 在该库 中 ， 存有 个模式 下 的各 个样本记 录数据集 数据 库 的数据 有属性 ， ， 讯 ， 将上 一 节 的小波神经 网络应用 于 本节 的数据关 系 为求逼 近项数 ， 进 行如下 运 算步 骤 设有 个 神经 元时 的误差 为 瓜 一 粤全阶一厂 。 一“ 二以 ‘ ‘ 砂， 对 任意 的 、 设定一 个逼近误差值 再按 下 列 步骤求 ，设小波 网络的神经元个数 七 ， 对 网 络 初 始 化 ， 设 定 ， 取 随 机 值 ， 产 ， 产 ， 输入 一个样本 值 ， 由朋 一 鲁，得球 出厂 ， 由式 求 出式 ， 如果 ， ， 则 转 至 ， 直至样本输 人 完毕 ， 否 则 ， 继 续下 一步 ，按 节 的学 习算法求 ，， ， ， 循 环直至式最小 叩 ， 若在规定循环 次数 内式《 ， 则再增加一个 神经元必 ‘ ， ， ， 再求 一 鲁，导 ， 并返 回 如此循环 ， 直至 结束 本实验 的 值取 司 下 面详细介绍小波网络对 个模式 的判 别 瓦 和 瓦 之 间存在 一 种 确定关 系 ， ， 厂以 月 二 。 一 戈 此 为 映射 ， 。 ， 映射处 于非混沌 区 属性数据 由初 值 结合 叠代产生 对于 该模式下 的数据 ， 运 用 到上 面 构造的 小波 网络 ， 经过 一 次左右 的学 习后 ， 可 以 得到小波 网络逼 近项 随着数据样本不 断输人而呈 现的趋 势 图 图 和 之 ’ 存在 混沌关 系 二 月劝二 一 当‘产 映射处于混沌 区 属 性
VoL23 No.5 江亚东等：基于小波神经网络的混沌模式提取 477· 10 100 9 80 6 60 % 3 20 0 0 50 100·150 200250 0 100 200300 400 500 学习次数 学习次数 图4确定模式下小波网络逼近项的趋势图 图2确定模式下小波网络道近项的趋势图 Fig.2 Increase trend of wavelet neurons vs deterministic Fig.4 Increase trend of wavelet neurons vs random pattern pattern 由3个图可以看出，3种模式由小波网络 数据由初值x。0.8结合(12)叠代产生， 的逼近项数，也即小波神经元的个数N的值而 对于该模式下的数据，运用到上面构造的 清楚地区别开来.实际上，上面分别由确定模式 小波网络，经过800-1000次左右的学习后，可以 和混沌模式训练出来的网络可以再用来进行相 得到小波网络逼近项随着数据样本不断输入而 应模式下的数据值预测，只需输人X值，便可由 呈现的趋势图（图3） 网络求出输出值，并使多数值的误差<ε. 14 12 4结论 10 8 通过仿真实验可以看出，对于不同的模式， 6 小波网络在学习过程中，其神经元的增长趋势 3 呈现出明显的差异.这些差异是小波网络对不 0 同模式逼近时所具有不同收敛性的表征.而本 0 100 200300 400 500600 学习次数 文正是利用这种差异实现混沌模式提取的. 图3确定模式下小波网络逼近项的趋势图 参考文献 Fig.3 Increase trend of wavelet neurons vs chaotic pattern 1杨炳儒知识工程与知识发现北京：冶金工业出版社， (3)AttributionX3和Attribution Y3之间是一 2000 种随机关系，这2组属性数据由各随机数发生 2王东升，曹磊.混沌、分形极其应用.合肥：中国科学技 器独立产生. 术大学出版杜，1995 3邓超，熊范伦.数据库中混沌模式的发现和预测软件 对于该模式下的数据，运用到上面构造的 学报，1995,10(5)：469 小波网络，经过800~1000次左右的学习后，可以 4 Zhang Qinghua,Albet Benvenist.Wavelet Networks IEEE 得到小波网络逼近项随着数据样本不断输人而 Trans on Neural Networks,1992,3(6):889 呈现的趋势图（图4）. Chaotic Pattern Distinction Based on Wavelet Neural Network JIANG Yadong",DING Liping",XIA Kejian',LI Ke,CHEN Yingi 1)Information Engineering School,UST Beijing,Beijing 100083.China 2)Management Cadre School,Chinese Academy of Science,Beijing 101416,China ABSTRACT The features of constringencies of deterministic pattern,chaotic pattern and random pattern are analyzed.A wavelet neural network is constructed and its learning algorithm is studied.The difference of increase trend of neurons in wavelet network are used to reflecting the difference of constringencies of the pat- terns above mentioned.Owing to there differences,the chaotic pattern can be distinct. KEY WORDS KDD;wavelet network;chaotic pattern
江亚 东等 基 于 小波 神经 网络 的混沌模式提取 一一一一一一一 －－ 一一一门 。 卜 。 。 尸尸 石 卜 石 卜 创 一 ，‘ 户 目︸︸ 撼嗽酬 ‘ ‘ 二二一 一一一‘ 一一 一 一占 ’ 学 习 次数 图 确定模式 下 小 波 网络通 近项 的趋势 圈 · 血， 件 抽 由 个 图 可 以看 出 ， 种模式 由小波 网络 的逼 近项 数 ， 也 即小波神经元 的个数 的值而 清楚地 区别开来 实际上 ， 上 面分别 由确定模式 和混沌模式训 练 出来的网络可 以再用 来进行相 应模式下 的数据值预测 ， 只需输人 值 ， 便 可 由 网络求 出输 出值 ， 并使多数值 的误差 反 ，︸‘气内， 燕叹期 学 习 次数 图 确定模式下小波 网络通 近项的趋势图 论 · 代 ， 作 ” 门 数据 由初值 结合 叠 代产生 对于该模式 下 的数据 ， 运 用 到上 面 构造 的 小波 网络 ，经过 一 次左右的学 习后 ， 可 以 得到小波 网络逼 近项 随着数据样本不断输人 而 呈现 的趋势 图 图 尸 粼惫暇期 学 习 次数 图 确定模式下 小 波网络通 近项 的趋势图 件 。 和 之 间是一 种 随机关系 ， 这 组 属 性数据 由各随机数发生 器独 立 产生 对 于该模式下 的数据 ， 运 用 到上 面构造 的 小波 网络 ，经过 一 次左右 的学 习后 ， 可 以 得到小波 网络逼 近项 随着数据样本不 断输人而 呈现 的趋 势 图 图 结论 通 过仿真实验可 以 看 出 ， 对于不 同的模式 ， 小波网络在学 习 过程 中 ， 其神经 元 的增 长趋 势 呈 现 出 明显 的差 异 这 些差 异是小波 网络对 不 同模式逼近 时所具有不 同收敛性 的表征 而本 文 正 是利用 这种差异 实现混沌模式提取 的 参 考 文 献 杨炳儒 知识工程与知识发现 北京 冶金 工业 出版社 ， 王 东升 ， 曹磊 混沌 、 分形极 其应用 合肥 二中国科学技 术大学 出版社 ， 邓超 ， 熊 范伦 数据库中混沌模式 的发 现和 预测 软件 学报 ， ， 台 幻胃 ， ， 丫 双咬刀 心 ’ ， 刀石 澎气 大又咬天可 厅’ ， ‘ ’ ， 万 ， 吨 ， ， 明吃 ， ， ， ， 幻刃。 众 ， 幻刃。 欢