11-3CMAC算法及程序语言描述 0次接收域函数例 c=4 (a)一维 (b)邻近两点 c)邻近两点输 c=4 输入重叠单元=3， 入重叠单元=3， 无碰撞 有碰撞
（b）邻近两点 输入重叠单元=3, 无碰撞 （ a ） 一 维 c=4 c=4 1 （c）邻近两点输 入重叠单元=3, 有碰撞 11-3 CMAC算法及程序语言描述
11-4CMAC网络的泛化能力 最早进行泛化理论研究的是Amaril,他认为泛化是将输入集中样本 点的给定邻域映射到输出集中映射点（与样本点对应）的某一邻域。由此 可见，泛化能力除了由精度决定外，还取决于映射方式和输入的量化级。 所以多层感知器的泛化能力是极其有限的，实践也证明了这点。而 CMAC神经网络是在对小脑进行神经解剖生理学研究的基础上提出的， 它被证明具有局域泛化能力。 CMAC网络中，若两个输入向量相距较近，则它们所触发的神经 元有重叠，距离越近，重叠越多；若两个输入向量相距较远，则它们触 发的神经元没有重叠。因此CMAC网络具有局域泛化能力，它的泛化能 力源自于它的网络结构本身。 影响CMAC泛化精度的主要因素有：训练精度、泛化常数和样本点的 选择，但其结论还显得相对简单
11-4 CMAC网络的泛化能力 最早进行泛化理论研究的是Amaril，他认为泛化是将输入集中样本 点的给定邻域映射到输出集中映射点(与样本点对应)的某一邻域。由此 可见，泛化能力除了由精度决定外，还取决于映射方式和输入的量化级。 所以多层感知器的泛化能力是极其有限的，实践也证明了这点。而 CMAC神经网络是在对小脑进行神经解剖生理学研究的基础上提出的， 它被证明具有局域泛化能力。 CMAC网络中，若两个输入向量相距较近，则它们所触发的神经 元有重叠，距离越近，重叠越多；若两个输入向量相距较远，则它们触 发的神经元没有重叠。因此CMAC网络具有局域泛化能力，它的泛化能 力源自于它的网络结构本身。 影响CMAC泛化精度的主要因素有:训练精度、泛化常数和样本点的 选择，但其结论还显得相对简单
11-4CMAC网络的泛化能力 11-4-1CMAC网络泛化指标 对于一个神经网络来说，泛化能力越强，意味着经样本点训练 后，对于样本点附近非样本点（即测试点）的输入，网络输出与期望 输出间的误差越小。设测试点序列1，对应的期望输出为y。CMAC 输出为化，)，则可用测试点的误差丰方和： sSE=2e）-y)》2 作为指标，来衡量网络整体泛化性能的优越。SSE越小，则意味着 网络泛化能力越强
11-4-1 CMAC网络泛化指标 11-4 CMAC网络的泛化能力 对于一个神经网络来说，泛化能力越强，意味着经样本点训练 后，对于样本点附近非样本点(即测试点)的输入，网络输出与期望 输出间的误差越小。设测试点序列 ,对应的期望输出为 。CMAC 输出为 , 则可用测试点的误差平方和： i t i y ( )i f t å - P i i i SSE f t y 1 2 ( ( ) ) 作为指标，来衡量网络整体泛化性能的优越。 越小，则意味着 网络泛化能力越强。 SSE
11-4CMAC网络的泛化能力 11-4-2CMAC参数对网络性能的影响 1.CMAC网络的结构本身保证了对于训练样本点邻域内的测试点具有 一定的泛化能力。 2.在训练样本采样精度不变的条件下，量化精度越高，CMAC网络整 体泛化性能越好，但随着量化精度的提高，CMAC学习收敛要求的 最小泛化常数值随之增大。 3.在训练样本采样精度和网络量化精度保持不变的条件下，在一定范 围内，泛化常数的增加可以提高CMAC网络整体的泛化性能，但当 泛化常数增大到一定程度后，它的变化不再影响网络泛化性能。 4.在训练样本采样精度和网络量化精度保持不变的条件下，CMAC泛 化常数存在一个相对最优值，可保证样本点和测试点误差都较小。 5.为保证CMAC收敛，应避免采用网络量化精度小于训练样本采样精 度的参数配置训练网络。 6.提高训练样本采样精度，可提高CMAC网络整体泛化性能，但同时 必须保证，网络量化精度要等于或大于样本采样精度
11-4 CMAC网络的泛化能力 11-4-2 CMAC参数对网络性能的影响 1. CMAC网络的结构本身保证了对于训练样本点邻域内的测试点具有 一定的泛化能力。 2. 在训练样本采样精度不变的条件下，量化精度越高，CMAC网络整 体泛化性能越好，但随着量化精度的提高，CMAC学习收敛要求的 最小泛化常数值随之增大。 3. 在训练样本采样精度和网络量化精度保持不变的条件下，在一定范 围内，泛化常数的增加可以提高CMAC网络整体的泛化性能，但当 泛化常数增大到一定程度后，它的变化不再影响网络泛化性能。 4. 在训练样本采样精度和网络量化精度保持不变的条件下，CMAC泛 化常数存在一个相对最优值，可保证样本点和测试点误差都较小。 5. 为保证CMAC收敛，应避免采用网络量化精度小于训练样本采样精 度的参数配置训练网络。 6. 提高训练样本采样精度，可提高CMAC网络整体泛化性能，但同时 必须保证，网络量化精度要等于或大于样本采样精度
11-4CMAC网络的泛化能力 11-4-3样本训练顺序对CMAC网络性能的影响 下面分四种情况以CMAC网络逼近复杂的“海底深度”函数为例， 研究训练样本学习次序的变化对CMAC网络性能的影响。 fx,y)=-500+1.2e1+0-21-0.7e1x+2+01+6x∈[-5，Jy∈-5， 其中δ为标准差为0.05的随机误差。 将x∈[-5，y[-5,)等间距取64个点，即样本采样间隔和网络量化间 距均约为0.15625，泛化常数C取4，物理存储单元数取400(=100C),最 大训练次数设为500。实验选取了四种不同的训练顺序： (1,2) (2,2) (1.2)(2,2) 221 (1,1) (2.1) (2,1) (1,1) (1.1)(2.1) 先y后x 先x后y 串联顺序 三种样本训练顺序
11-4 CMAC网络的泛化能力 11-4-3 样本训练顺序对CMAC网络性能的影响 下面分四种情况以CMAC网络逼近复杂的“海底深度”函数为例， 研究训练样本学习次序的变化对CMAC网络性能的影响。 - - d -[( -1) ( -2) ] -[( 2) ( 1) ] 2 2 2 2 ( , ) 500 1.2 0.7 x y x y f x y e e x[-5,5] y[-5,5] 其中 d 为标准差为0.05的随机误差。 将 等间距取64个点，即样本采样间隔和网络量化间 距均约为0.15625, 泛化常数 取4, 物理存储单元数取400(=100 ), 最 大训练次数设为500。实验选取了四种不同的训练顺序： x[-5,5] y[-5,5] C C 三种样本训练顺序