过程神经元与过程神经网络模型 1过程神经元的定义 过程神经元是由过程输入信号加权,时间、空间二维聚合和阈值激励输出等四部分运算 组成。与传统神经元MP模型不同之处在于过程神经元的输入和连接权都可以是时变函数 过程神经元增加了一个对于时间的聚合算子,从而其聚合运算既包含对输入信号的空间加权 聚集,亦有对时间过程效应的累积。过程神经元模型的结构如图3.1所示 图3.1过程神经元一般模型 图3.1中,x(,x2(1),…,x(1)为过程神经元的时变输入函数;w1(D),w2(D)2…,n(D)为相 应的连接权函数;K()为过程神经元的聚合核函数:f(为激励函数,可取线性函数、 Sigmoid 函数、 Gauss型函数等等。 按照空间聚合与时间聚合顺序的不同,过程神经元可分为两类基本数学描述模型,其输 入与输出之间的关系分别为 模型I: y=f②∫(kw(,X()-=0) (3.1) 其中,X(m)为输入函数向量,W(t)为相应的连接权函数向量,y为输出,日为激活阈限 “∑”表示某种空间聚合运算(例如,加权和),“∫”表示某种时间聚合运算(例如,对t 积分)。 式(3.1)表示的过程神经元对外部时变输入信号先进行时间加权聚合,即先分别考虑 各个时变输入信号对系统输出的加权时间累积效应,然后再考虑这些时间累积效应的空间聚 合作用,最后通过激励函数的计算输出结果。其结构如图3.2所示。 ()~w1() ∑,K x,(r w(0) 图3.2过程神经元模型I 模型Ⅱ
1 过程神经元与过程神经网络模型 1 过程神经元的定义 过程神经元是由过程输入信号加权，时间、空间二维聚合和阈值激励输出等四部分运算 组成。与传统神经元 M-P 模型不同之处在于过程神经元的输入和连接权都可以是时变函数， 过程神经元增加了一个对于时间的聚合算子，从而其聚合运算既包含对输入信号的空间加权 聚集，亦有对时间过程效应的累积。过程神经元模型的结构如图 3.1 所示。 图 3.1 过程神经元一般模型 图 3.1 中， ( ), ( ),..., ( ) 1 2 x t x t x t n 为过程神经元的时变输入函数； ( ), ( ),..., ( ) 1 2 w t w t w t n 为相 应的连接权函数； K() 为过程神经元的聚合核函数；f (·)为激励函数，可取线性函数、Sigmoid 函数、Gauss 型函数等等。 按照空间聚合与时间聚合顺序的不同，过程神经元可分为两类基本数学描述模型，其输 入与输出之间的关系分别为： 模型Ⅰ： = (( ( ( ( ), ( )))) −) y f K W t X t （3.1） 其中， X (t) 为输入函数向量， W (t) 为相应的连接权函数向量， y 为输出， 为激活阈限， “∑”表示某种空间聚合运算（例如，加权和），“∫”表示某种时间聚合运算（例如，对 t 积分）。 式（3.1）表示的过程神经元对外部时变输入信号先进行时间加权聚合，即先分别考虑 各个时变输入信号对系统输出的加权时间累积效应，然后再考虑这些时间累积效应的空间聚 合作用，最后通过激励函数的计算输出结果。其结构如图 3.2 所示。 图 3.2 过程神经元模型Ⅰ 模型Ⅱ： y ( ) 1 x t ( ) 2 x t x (t) n K (·) f (·) ( ) 1 w t ( ) 2 w t w (t) n y ( ) 1 x t ( ) 2 x t x (t) n ∫,∑,K f (·) ( ) 1 w t ( ) 2 w t w (t) n
y=f(∑(K(,xX()-0) (3.2) 式(3.2)表示的过程神经元先进行空间加权聚集,即先考虑在同一时间点上多输入时 变因素的空间聚合作用,然后再考虑空间聚合结果的时间累积效应。其结构如图3.3所示。 这类过程神经元在实际中更为常用。 ()~W1() 图3.3过程神经元模型Ⅱ 值得注意:八、K、∑和∫可选各种算子,而且不一定可交换。因此,模型Ⅰ和模型Ⅱ 并不等价。 例如:设∑=加权和,∫=积分,f=sign,K(,v)=u*v,则式(3.1)为 y=sgm∑w()*X(o)m)-) (3.3) 式(3.2)为 y=sign(((w(o)*X(O)dt-0) (3.4) 进一步,可将过程神经元推广为输入输出都是时变过程函数的情况,例如: y()=/∑∫(k(H(OxX()-) (3.5) 或 )=/∑K(o)x()-0 (3.6) 其中[是一个依赖于r的时间聚合算子,例如,在时间区间.或r一k之间的积分 这种过程神经元可用来建立具有多隐层的复杂过程神经元网络 为表示问题方便,下面将式(31)和(32)中的空间聚合算子用“⊕”表示,时间(过 程)聚合算子用“∞”表示,则图3.2表示的过程神经元输入输出之间的关系可描述为 y=f(W(1)④X(t)⑧K()-0) (3.7) 图3.3表示的过程神经元输入输出之间的关系为 y=f(W(1)⑧X(1)⊕K()-0) 例如, W()X(t)=∑v()x() A(1)②K()=[A(r)K()dr (3.10) 2
2 = ( ( ( ( ( ), ( )))) −) y f K W t X t （3.2） 式（3.2）表示的过程神经元先进行空间加权聚集，即先考虑在同一时间点上多输入时 变因素的空间聚合作用，然后再考虑空间聚合结果的时间累积效应。其结构如图 3.3 所示。 这类过程神经元在实际中更为常用。 图 3.3 过程神经元模型Ⅱ 值得注意：f、 K 、∑和∫可选各种算子，而且不一定可交换。因此，模型Ⅰ和模型Ⅱ 并不等价。 例如：设 ∑= 加权和，∫＝积分， f =sign， K(u,v) = u v ，则式（3.1）为 = (( ( ( ) ( )) ) − )) y sign W t X t dt （3.3） 式（3.2）为 y = sign( ((W (t) X (t))dt −) （3.4） 进一步，可将过程神经元推广为输入输出都是时变过程函数的情况，例如： = − y( ) f ( ( (K(W(t), X(t))) ) （3.5） 或 = − y( ) f ( ( K(W(t), X(t))) ) （3.6） 其中 是一个依赖于 的时间聚合算子，例如，在时间区间 [0, ] 或 [ − k, ] 之间的积分。 这种过程神经元可用来建立具有多隐层的复杂过程神经元网络。 为表示问题方便，下面将式（3.1）和（3.2）中的空间聚合算子用“ ”表示，时间(过 程)聚合算子用“ ”表示，则图 3.2 表示的过程神经元输入输出之间的关系可描述为 y = f ((W (t) X (t)) K() −) (3.7) 图 3.3 表示的过程神经元输入输出之间的关系为 y = f ((W (t) X (t)) K() −) (3.8) 例如， = = n i i i W t X t w t x t 1 ( ) ( ) ( ) ( ) (3.9) = T A t K A t K t t 0 ( ) ( ) ( ) ( )d (3.10) y ( ) 1 x t ( ) 2 x t x (t) n ∑,∫, K f (·) ( ) 1 w t ( ) 2 w t w (t) n
其中,[0,门]为时变信号输入过程区间,K()为[0,7上的一个可积函数,或更一般地设K() 为一个一元泛函,定义 A(1)②K()=K(4(1) (3.11) 一般假设权函数W()=(w1(D),w2(),W()和时间聚合核函数(泛函)K()均为 连续的,实际系统大多如此。由式(3.7~3.11)描述的过程神经元,其内部运算由加权乘 积分、累加和以及激励函数组成,称之为狭义过程神经元 其实,加权聚合算子“⊕”和“⑧”还可以取其它一些形式的运算,例如用max和 min,或T算子和S-算子来构成“⊕”;“⑧”可取褶积、含变参积分等,激励函数∫也可 以是任何形式的有界函数。由式(3.7,3.8,3.11)描述的过程神经元称为广义过程神经元 过程神经元对不同实际问题的适应性和信息处理能力主要取决于时、空聚合算子的形 式。过程神经元通过对训练集中样本的学习,可以对输入的时变信号特征产生过程性记忆, 过程模式特征的提取和记忆以及对时变系统输入输出之间的映射关系反映在过程神经元的 连接权函数上,因此它具有对时变模式的直接分类能力和类似于复合函数的函数映射能力。 多聚合过程神经元 其实,过程神经元的输入和输出函数并不一定仅仅依赖于时间,还可以依赖于其它多种 因素,例如,某一实际系统的输入与空间位置(x,y,z)和时间t有关,其输出是这些因素累 积共同作用的结果,如泥石流的形成,土地砂化程度等,这时系统的输入函数形式应为 u(x,y,=,1)(i=12,…,n),即多因素过程函数。如果用神经元网络对该系统进行仿真建 模,则神经元在对输入信息进行加工时,要对各变量和变量中的各种因素进行空间聚合和过 程聚合,因此可将过程神经元扩展为多聚合过程神经元。 多聚合过程神经元的输入其一般形式为x(1,12x…,p),i=1,2,…,n,lp∈O,T] (P=12,,P),其中T可以为0:输入通道的权函数为多元函数w(1,12x…p)。聚合算 子可为一般的线性或非线性泛函算子,例如空间聚合算子可以取多因素空间加权和运算,多 元过程聚合算子可以取例如多元多重积分、或其它多元代数运算等形式。作为特殊情况,多 聚合过程神经元可以仅有过程聚合或仅有空间聚合。多聚合过程神经元的一般模型如图34 所示。 (1,,)~(t,,4) x2(12,lp) , n(12,lp)
3 其中， [0,T] 为时变信号输入过程区间， K() 为 [0,T] 上的一个可积函数，或更一般地设 K() 为一个一元泛函，定义 A(t) K() = K(A(t)) (3.11) 一般假设权函数 W (t) ( ( ), ( ),..., ( )) 1 2 w t w t w t = n 和时间聚合核函数（泛函） K() 均为 连续的，实际系统大多如此。由式（3.7~3.11）描述的过程神经元，其内部运算由加权乘、 积分、累加和以及激励函数组成，称之为狭义过程神经元。 其实，加权聚合算子“ ”和“ ”还可以取其它一些形式的运算，例如用 max 和 min，或 T–算子和 S–算子来构成“ ”；“ ”可取褶积、含变参积分等，激励函数 f 也可 以是任何形式的有界函数。由式（3.7, 3.8, 3.11）描述的过程神经元称为广义过程神经元。 过程神经元对不同实际问题的适应性和信息处理能力主要取决于时、空聚合算子的形 式。过程神经元通过对训练集中样本的学习，可以对输入的时变信号特征产生过程性记忆， 过程模式特征的提取和记忆以及对时变系统输入输出之间的映射关系反映在过程神经元的 连接权函数上，因此它具有对时变模式的直接分类能力和类似于复合函数的函数映射能力。 多聚合过程神经元 其实，过程神经元的输入和输出函数并不一定仅仅依赖于时间，还可以依赖于其它多种 因素，例如，某一实际系统的输入与空间位置 (x, y,z) 和时间 t 有关，其输出是这些因素累 积共同作用的结果，如泥石流的形成，土地砂化程度等，这时系统的输入函数形式应为 u (x, y,z,t) i （ i = 1,2,...,n ），即多因素过程函数。如果用神经元网络对该系统进行仿真建 模，则神经元在对输入信息进行加工时，要对各变量和变量中的各种因素进行空间聚合和过 程聚合，因此可将过程神经元扩展为多聚合过程神经元。 多聚合过程神经元的输入其一般形式为 ( , ,..., ) i 1 2 P x t t t ，i = 1,2,...,n ， [0, ] p T p t ( p = 1,2,...,P) ，其中 T p 可以为 0；输入通道的权函数为多元函数 ( , ,..., ) i 1 2 P w t t t 。聚合算 子可为一般的线性或非线性泛函算子，例如空间聚合算子可以取多因素空间加权和运算，多 元过程聚合算子可以取例如多元多重积分、或其它多元代数运算等形式。作为特殊情况，多 聚合过程神经元可以仅有过程聚合或仅有空间聚合。多聚合过程神经元的一般模型如图 3.4 所示。 ( ) 1 x t y x1(t1,..,tp) x2(t1,..,tp) xn(t1,..,tp) w1(t1,..,tp) wn(t1,…,tp) ⊕, ,K f (·)
图3.4多聚合过程神经元一般模型 其中,“⊕”为n个多元过程输入函数的空间聚合算子,“⑧”为多元过程聚合算子,K()为 聚合核函数。 图34表示的多聚合过程神经元输入输出之间的映射关系为: y=f(W(t1t2…,tp)④X(t1,12x…,tp))⑧K()-6) (3.15) 如果“”取为空间加权和,“⑧”为多元多重积分,核函数K()=1,则多聚合过程 神经元输入输出之间的映射关系为 2-2x(44x-2厘m1(12nmd2a-0) (3.16) 35模糊过程神经元 在实际中,经常遇到带有过程性模糊信息的处理问题。若将过程神经元的信息处理方式 与模糊推理规则相结合,定义一种模糊过程神经元,将提高人工神经元的信息处理能力。可 釆用两种方法构建模糊过程神经元。一种是对过程神经元直接模糊化,将过程神经元对时变 信号的信息处理机制与学习能力与模糊逻辑系统的推理机制相结合,构成一种新的模糊计算 模型:另一种是由带过程性信息的模糊推理规则描述的模糊过程神经元,即每一个模糊过程 神经元表示了一条模糊推理规则,多个模糊过程神经元按照一定结构组成的模糊过程神经元 网络可构成一个模糊逻辑推理系统。本节的讨论均针对于带有过程性模糊信息的论域(模糊 时变问题)进行 351过程神经元的模糊化 设A,A2,…,Ak为论域U上的模糊集,接受域上的隶属度函数分别为()42( ,4x()。模糊过程神经元是由模糊过程信号加权输入、模糊聚合运算及模糊激励输出组 成,其结构如图3.5所示。 2( x(tr w(o 图3.5模糊过程神经元 图3.5中,x(1)=(x(1)x2(),xn(1),t∈[0,7]为神经元输入,可以是时变函数或过程 性模糊信息:模糊过程神经元的连接权w(口)=(谛(D),(D),…,W,()可以是隶属度函数或
4 图 3.4 多聚合过程神经元一般模型 其中，“ ”为 n 个多元过程输入函数的空间聚合算子，“ ”为多元过程聚合算子， K() 为 聚合核函数。 图 3.4 表示的多聚合过程神经元输入输出之间的映射关系为： (( ( , ,..., ) ( , ,..., )) () ) y = f W t 1 t 2 tP X t 1 t 2 tP K − （3.15） 如果“ ”取为空间加权和，“ ”为多元多重积分，核函数 K() =1 ，则多聚合过程 神经元输入输出之间的映射关系为 ( ... ( , ,..., ) ( , ,..., ) ... ) 1 2 1 2 1 2 0 0 0 1 1 2 = − = p i p p T T T n i y f xi t t t w t t t dt dt dt p （3.16） 3.5 模糊过程神经元 在实际中，经常遇到带有过程性模糊信息的处理问题。若将过程神经元的信息处理方式 与模糊推理规则相结合，定义一种模糊过程神经元，将提高人工神经元的信息处理能力。可 采用两种方法构建模糊过程神经元。一种是对过程神经元直接模糊化，将过程神经元对时变 信号的信息处理机制与学习能力与模糊逻辑系统的推理机制相结合，构成一种新的模糊计算 模型；另一种是由带过程性信息的模糊推理规则描述的模糊过程神经元，即每一个模糊过程 神经元表示了一条模糊推理规则，多个模糊过程神经元按照一定结构组成的模糊过程神经元 网络可构成一个模糊逻辑推理系统。本节的讨论均针对于带有过程性模糊信息的论域（模糊 时变问题）进行。 3.5.1 过程神经元的模糊化 设 A A AK ~ , , ~ , ~ 1 2 为论域 U 上的模糊集，接受域上的隶属度函数分别为 ( ), ( ), 2 ~ 1 ~ A A , ~ () AK 。模糊过程神经元是由模糊过程信号加权输入、模糊聚合运算及模糊激励输出组 成，其结构如图 3.5 所示。 图 3.5 模糊过程神经元 图 3.5 中， ( ) ( ( ), ( ),..., ( )) 1 2 x t x t x t x t = n ，t [0,T ] 为神经元输入，可以是时变函数或过程 性模糊信息；模糊过程神经元的连接权 ( )) ~ ( ),..., ~ ( ), ~ ( ) ( ~ 1 2 w t w t w t w t = n 可以是隶属度函数或 y ( ) ~ 1 w t ( ) ~ w t n ( ) ~ 2 w t ＆,⊕,f x ( ) 1 t x ( ) 2 t x ( ) n t
信度函数,“&”和“⊕”分别为相对于空间和时间的两个模糊对偶聚合算子,例如,maX和 min,S-算子和T-算子;∫为模糊激励函数,y为模糊过程神经元的输出。 由图3.5,这种模糊过程神经元输入输出之间的关系为 y=f((x(1)&w(1)-b()) (3.17) 式(3.17)中,θ(1)为模糊过程神经元的模糊阈值,也可为过程模糊函数。 由于过程神经元的输入、连接权、阈值、聚合运算和非线性激励函数等都被模糊化, 分别可以是各种模糊集、模糊运算和模糊函数,因此,其输岀既可以是数值型的也以是 模糊的。 与非模糊的过程神经元信息处理机制相类似,这种模糊过程神经元的所有输入函数(模 糊的或清晰的)经加权操作后进行某种聚合运算,最后根据阈值和激励函数计算出神经元的 输出结果 3.5.2由模糊加权推理规则构造模糊过程神经元 将过程神经元在语义上表示为一个加权模糊逻辑的规则,其中前提和结论是包含过程性 信息的模糊集作为变元的模糊谓词。在这类模糊过程神经元中,具有过程性模糊信息的输入 /输岀是通过一个加权模糊逻辑规则相联系的。论域的知识和经验存储在模糊连接权中,其 输出谓词是由当前的输入谓词和已有的经验权重按一定规则组合而成,即一个模糊过程神经 元对应于一个带过程性信息的加权模糊逻辑规则,其结构如图3.6所示 PI(t &, 图3.6模糊推理过程神经元 由图3.6,一个包含过程性信息的模糊推理规则可表示为 W1&P1(1)W2&P2(D)…Wn&P(1)→>Q(D),Cf,r (3.18) 其中,P(1),Q(t)为模糊逻辑谓词,取真值于[O,1],其中t∈[0,];模糊连接权w,≥0且 W1=1:f为推理规则的信度(0<cf≤1),为可应用阈限(0<r≤1),即当前提的 真度1:t=∑帝*T(P()大于等于r时,则该规则就可被应用。这里T(P()为P()的 真度
5 信度函数，“&”和“⊕”分别为相对于空间和时间的两个模糊对偶聚合算子，例如， max 和 min ，S -算子和 T -算子； f 为模糊激励函数， y 为模糊过程神经元的输出。 由图 3.5，这种模糊过程神经元输入输出之间的关系为 ( )) ~ ( )) & ~ y = f ((x(t) w t − t （3.17） 式（3.17）中， ( ) ~ t 为模糊过程神经元的模糊阈值，也可为过程模糊函数。 由于过程神经元的输入、连接权、阈值、聚合运算和非线性激励函数等都被模糊化， 分别可以是各种模糊集、模糊运算和模糊函数，因此，其输出既可以是数值型的也以是 模糊的。 与非模糊的过程神经元信息处理机制相类似，这种模糊过程神经元的所有输入函数（模 糊的或清晰的）经加权操作后进行某种聚合运算，最后根据阈值和激励函数计算出神经元的 输出结果。 3.5.2 由模糊加权推理规则构造模糊过程神经元 将过程神经元在语义上表示为一个加权模糊逻辑的规则，其中前提和结论是包含过程性 信息的模糊集作为变元的模糊谓词。在这类模糊过程神经元中，具有过程性模糊信息的输入 /输出是通过一个加权模糊逻辑规则相联系的。论域的知识和经验存储在模糊连接权中，其 输出谓词是由当前的输入谓词和已有的经验权重按一定规则组合而成，即一个模糊过程神经 元对应于一个带过程性信息的加权模糊逻辑规则，其结构如图 3.6 所示。 图 3.6 模糊推理过程神经元 由图 3.6，一个包含过程性信息的模糊推理规则可表示为: & ( ) ( ), , ~ & ( ) ~ & ( ) ~ 1 1 2 2 w P t w P t w P t Q t cf n n → （3.18） 其中， P (t) i ,Q(t) 为模糊逻辑谓词，取真值于 [0,1] ，其中 t [0,T ] ；模糊连接权 0 ~ wi 且 1 ~ 1 = = n i wi ； cf 为推理规则的信度 (0 cf 1) ， 为可应用阈限 (0 1) ，即当前提的 真度 t ： ( ( )) ~ 1 t w T P t i n i = i = 大于等于 时，则该规则就可被应用。这里 T(P (t)) i 为 P (t) i 的 真度， i = 1,2,...,n 。 … C f ,τ … 1 ~ w 2 ~ w wn ~ P ( ) 1 t P ( ) 2 t P ( ) n t Q(t) &,⊕