模块(组合)网络 1)产生的背景 a)更好的映射非线性函数 b)模拟人类神经系统分工 合作 C)在控制中克服“时间交叉” 〔 Temporal Crosstalk)现象。 模块网络的结构(见图)
模块（组合）网络 1） 产生的背景 a) 更好的映射非线性函数 b) 模拟人类神经系统,分工 合作 c) 在控制中,克服“时间交叉” (Temporal Crosstalk) 现象。 模块网络的结构（见图）
X输入向量 网专家网络 专家网络 专家网終 络 2 y 门控网络 g ∑ Y输出向量 组合神绘劂络的结构
学习方法 输出线性和方法:E=d∑ny 各专家网络有强的耦合在情况c时 d为期望输出,n第i个专家网络的贡南 竞争学习方法 E=(d-yap=Ep id-yil 强者为胜,一个网络参加学习
学习方法 2 c = d − c i c i c 输出线性和方法： E p y 2 c i c c i c i c i c c E = d − y p = p d − y 竞争学习方法： —— 各专家网络有强的耦合 —— 强者为胜，一个网络参加学习。 d c 为期望输出，pi c 第i个专家网络的贡献 在情况c时
进一步改进算法 E=-l0g∑pe 1/2|-y 比较 OE 2p 加权项 (1) 1/2d-y aE -1/2d-y -y2)(2) 式(1)表示最合适的专家网络以最慢的速度下降 式(2)表示最合适的专家网络以最快的速度下降
2 1 2 c i c / d y i c i c E log p e − − = − ( ) ( ) c i c j / d y c j / d y c i c i c c i c c c i i c d y p e p e y E p d y y E c i c c i c − = − = − − − − − − 2 2 1 2 1 2 2 进一步改进算法 比较 （1） （2） 式（1）表示最合适的专家网络以最慢的速度下降 式（2）表示最合适的专家网络以最快的速度下降 加权项
如何确定门控网络输出g;? 给组合网络以概率解释。 训练样本x为p维, 胡望输出 第个专家网络的输出y;,为q维, 门控网络的第个输出为g 整个组合网络的输出向量为 K为专家网络的个数
如何确定门控网络输出gi？ —— 给组合网络以概率解释。 训练样本x为p维， 目标输出，即期望输出，为d ，q维， 第i个专家网络的输出 yi ， 为q维， 门控网络的第i个输出为gi ， 整个组合网络的输出向量为： i k i i y g y = = 1 K 为专家网络 的个数