前馈过程神经元网络 前馈过程神经元网络是过程神经元网络的一种基本模型,是由若干过程神经元和一般非 时变神经元按照一定拓扑形式组成的一种前向网络模型。前馈过程神经元网络的输入输出、 神经元节点之间的连接权都可以是时变函数。网络经过训练,能够由通过向环境学习而确定 的网络结构参数和性质参数(或函数)对系统过程式模式特征及变换机制产生记忆,具有较 强的对时变信息的处理能力和对时变系统输入输出之间关系的非线性映射能力,对于过程信 号的模式识别、时变系统仿真、函数逼近等实际问题的建模、求解具有广泛的适用性。本章 主要介绍前馈过程神经元网络的一般模型和权函数基展开的过程神经元网络模型,并对网络 的连续性、泛函数逼近能力、计算能力等性质进行研究。首先讨论下述简单模型。 4.1前馈过程神经元网络的一种简单模型 为使问题讨论起来方便,先考虑仅含一个过程神经元隐层的多输入单输出网络模型, 其实,很容易推广到多输入多输出情况。设过程神经元网络的输入层有n个节点,中间层(过 程神经元隐层)有m个节点,输出节点为一个一般非时变神经元。网络输入为X()=(x1(t) x2(t),…xn(1),拓扑结构如图41所示。 x2() ∑ 图41含一个隐层的过程神经元网络 图41中,N是由式(32)定义的过程神经元,w,()为输入层节点到过程神经元隐层节 点j的连接权函数,v为隐层节点j到输出节点的连接权值,g为输出层神经元的激励函 数,y为系统输出 如果过程神经元对于空间的聚合运算取为加权和,对于时间(过程)的聚合运算取为积 分,且一元泛函K()=1,则(狭义)过程神经元网络可表示成图42的形式。 x() ∑,∫ x2() xn(1) ∑,∫f 图42狭义过程神经元网络 由图42,网络输入输出之间的映射关系为:
6 前馈过程神经元网络 前馈过程神经元网络是过程神经元网络的一种基本模型，是由若干过程神经元和一般非 时变神经元按照一定拓扑形式组成的一种前向网络模型。前馈过程神经元网络的输入/输出、 神经元节点之间的连接权都可以是时变函数。网络经过训练，能够由通过向环境学习而确定 的网络结构参数和性质参数（或函数）对系统过程式模式特征及变换机制产生记忆，具有较 强的对时变信息的处理能力和对时变系统输入输出之间关系的非线性映射能力，对于过程信 号的模式识别、时变系统仿真、函数逼近等实际问题的建模、求解具有广泛的适用性。本章 主要介绍前馈过程神经元网络的一般模型和权函数基展开的过程神经元网络模型，并对网络 的连续性、泛函数逼近能力、计算能力等性质进行研究。首先讨论下述简单模型。 4.1 前馈过程神经元网络的一种简单模型 为使问题讨论起来方便，先考虑仅含一个过程神经元隐层的多输入单输出网络模型， 其实，很容易推广到多输入多输出情况。设过程神经元网络的输入层有 n 个节点，中间层（过 程神经元隐层）有 m 个节点，输出节点为一个一般非时变神经元。网络输入为 X (t) = ( ( ), 1 x t ( ), 2 x t ..., x (t)) n ，拓扑结构如图 4.1 所示。 图 4.1 含一个隐层的过程神经元网络 图 4.1 中，PN 是由式（3.2）定义的过程神经元， w (t) ij 为输入层节点 i 到过程神经元隐层节 点 j 的连接权函数， j v 为隐层节点 j 到输出节点的连接权值， g 为输出层神经元的激励函 数， y 为系统输出。 如果过程神经元对于空间的聚合运算取为加权和，对于时间(过程)的聚合运算取为积 分，且一元泛函 K() =1，则（狭义）过程神经元网络可表示成图 4.2 的形式。 图 4.2 狭义过程神经元网络 由图 4.2，网络输入输出之间的映射关系为： ∑,∫,f ( ) 1 x t ( ) 2 x t x (t) n ∑,∫,f ∑,∫,f w (t) ij . . . . . . y j v … ∑,g x1 (t) PN ( ) 2 x t x (t) n PN PN w (t) ij . . . . . . j v … ∑ y ,g
y=g(∑f(C(△Ox)-2")-0 式(41)中,为隐层节点j的激励阙值,[0,]为输入过程区间,∫为过程神经元激励 函数,g为输出神经元激励函数,θ为输出神经元阈值。其中∫和g都是非线性函数。可 见,这种过程神经元网络模型表达了一种很复杂的非线性变换机制 4.2前馈过程神经元网络的一般模型 下面考虑具有多个隐层的多输入多输出情况下前馈过程神经元网络的一般模型。在这 个模型中,网络可以包含多个不同类型的过程神经元(具有不同的时、空聚合算子,阈值类 型,激励函数)隐层,其中也可包含若干非时变神经元隐层(由于非时变神经元是过程神经 元的一个特例)。具有L个隐层多输入多输出的网络结构如图43所示。 x, uIR 图4.3过程神经元网络的一般模型 其中,PN为第i隐层的过程神经元,其空间聚合算子可以取为例如多输入信号的加权和、 加权值取大或取小等运算;时间聚合算子可以取为含变参数积分、褶积、T一算子或S一算 子等;阈值可为时变函数、数值等,激励函数可以取 Sigmoid函数、阶跃函数等。对于非时 变神经元(Σgk),其空间聚合算子Σ、激励函数gk等也可以取不同的形式。因此,可以根 据实际问题的具体需求,建立各种形式的前馈过程神经元网络模型。 在多隐层多输入输出前馈过程神经元网络一般模型中,各过程神经元隐层之间的信息传 递要满足网络模型中各过程神经元输入输出信号类型的定义。如果模型中同时包含过程神经 元和非时变神经元,按照过程神经元和非时变神经元输入、输出信号类型要求及前馈多层神 经元网络模型信息流传输由前向后的特点,在构建多神经元类型的前馈过程神经元网络时, 一般各过程神经元隐层应在非时变神经元隐层之前。 4.3基于权函数基展开的过程神经元网络模型 由于过程神经元网络的输入和连接权都可以是时变函数,过程神经元增加了一个对于时 间的聚合算子(对于连续系统,一般可取积分运算),这使得过程神经元网络的映射机制和 计算过程与一般非时变神经元网络有着很大的不同,计算复杂度大大增加。同时由于网络连 接权函数形式的任意性,如果不对函数类型进行一定的限制,权函数很难通过训练样本集的 学习来确定 为解决此问题,考虑一种网络权函数可以被一组已知基函数展开的过程神经元网络模
7 ( ( ( ( ) ( )) ) ) (1) 0 1 1 = − − = = i j T n i i j m j y g v j f w t x t dt (4.1) 式（4.1）中， (1) j 为隐层节点 j 的激励阈值， [0,T ] 为输入过程区间， f 为过程神经元激励 函数， g 为输出神经元激励函数， 为输出神经元阈值。其中 f 和 g 都是非线性函数。可 见，这种过程神经元网络模型表达了一种很复杂的非线性变换机制。 4.2 前馈过程神经元网络的一般模型 下面考虑具有多个隐层的多输入多输出情况下前馈过程神经元网络的一般模型。在这 个模型中，网络可以包含多个不同类型的过程神经元（具有不同的时、空聚合算子，阈值类 型，激励函数）隐层，其中也可包含若干非时变神经元隐层（由于非时变神经元是过程神经 元的一个特例）。具有 L 个隐层多输入多输出的网络结构如图 4.3 所示。 图 4.3 过程神经元网络的一般模型 其中， PNi 为第 i 隐层的过程神经元，其空间聚合算子可以取为例如多输入信号的加权和、 加权值取大或取小等运算；时间聚合算子可以取为含变参数积分、褶积、T—算子或 S—算 子等；阈值可为时变函数、数值等，激励函数可以取 Sigmoid 函数、阶跃函数等。对于非时 变神经元（∑,gk），其空间聚合算子∑、激励函数 gk 等也可以取不同的形式。因此，可以根 据实际问题的具体需求，建立各种形式的前馈过程神经元网络模型。 在多隐层多输入输出前馈过程神经元网络一般模型中，各过程神经元隐层之间的信息传 递要满足网络模型中各过程神经元输入输出信号类型的定义。如果模型中同时包含过程神经 元和非时变神经元，按照过程神经元和非时变神经元输入、输出信号类型要求及前馈多层神 经元网络模型信息流传输由前向后的特点，在构建多神经元类型的前馈过程神经元网络时， 一般各过程神经元隐层应在非时变神经元隐层之前。 4.3 基于权函数基展开的过程神经元网络模型 由于过程神经元网络的输入和连接权都可以是时变函数，过程神经元增加了一个对于时 间的聚合算子（对于连续系统，一般可取积分运算），这使得过程神经元网络的映射机制和 计算过程与一般非时变神经元网络有着很大的不同，计算复杂度大大增加。同时由于网络连 接权函数形式的任意性，如果不对函数类型进行一定的限制，权函数很难通过训练样本集的 学习来确定。 为解决此问题，考虑一种网络权函数可以被一组已知基函数展开的过程神经元网络模 PN1 ( ) 1 x t ( ) 2 x t x (t) n w (t) ij . . . . . . . . . y1 y2 ym . . . vjk(t) . . . … … … ulp(t) PN1 PN1 PN2 . . . PN2 PN2 PNL . . . PNL PNL