目录 1.神经网络概述 ■人工神经列络的定义 先进控制技术 第一节神经网络概述 ■Hecht-一Nielsen(1988年) 人工神经网略是一个并行、分布处理结的，它由处理单元 第二节人工神经网络的基本概念 及其称为联接的无向讯号通道互连而成，这些处理单完 神经网络控制 第三节感知器 出可以根据需要被分枝成希望个数的许多井行联接。日这 些并行联接都输出相同的信号， 即相应处理单元的信号， 第四节BP神经网络 得失等 必须是完全同都的。也就是说，它必须仅仅依赖于经过输 第五节神经网络控制 入联接到达处理单元的所有输入信号的当的值和存储在处 理单元局部内存中的值， 1.神经网络概述 1.神经网络概述 1.神经网络概述 ■人工样经网路的定义 ■人工神经网络的定义 ■5 impson(1987年) ■神经网络的基本属性 ■强调点 金器器欧 (1)非线性：人脑智慧的非线性 ■并行、分布处理结构： ■一个处理单元的输出可以被任意分枝， ■美国国防高级研究计划局 (2)非局域性：神经元相互作用 且大小不变： ■输出信号可以是任意的数学模型： 人工神经网悠是一个由许多荷单的并行工作的处斑单元短成的系统 (3)非定常性：自适应、自组织 ■处理单元完全的局部操作， 凤功能数于网的构、连度及各完处方式 (4凸性：系统演变多样性 ■简单描述 人工神经网咯是一种石在横防人脑结构吸其功能方息处理系统， 1
1 先进控制技术 神经网络控制 第一节 神经网络概述 第二节 人工神经网络的基本概念 第三节 感知器 第五节 神经网络控制 目录 第四节 BP神经网络 1.神经网络概述 人工神经网络的定义 Hecht—Nielsen（1988年） 人工神经网络是一个并行、分布处理结构，它由处理单元 及其称为联接的无向讯号通道互连而成。这些处理单元 （PE—Processing Element）具有局部内存，并可以完成 局部操作。每个处理单元有一个单一的输出联接，这个输 出可以根据需要被分枝成希望个数的许多并行联接，且这 些并行联接都输出相同的信号，即相应处理单元的信号， 信号的大小不因分支的多少而变化。处理单元的输出信号 可以是任何需要的数学模型，每个处理单元中进行的操作 必须是完全局部的。也就是说，它必须仅仅依赖于经过输 入联接到达处理单元的所有输入信号的当前值和存储在处 理单元局部内存中的值。 1.神经网络概述 人工神经网络的定义 强调点 并行、分布处理结构； 一个处理单元的输出可以被任意分枝， 且大小不变； 输出信号可以是任意的数学模型； 处理单元完全的局部操作。 1.神经网络概述 人工神经网络的定义 Simpson（1987年） 美国国防高级研究计划局 简单描述 人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小 来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。 人工神经网络是一个由许多简单的并行工作的处理单元组成的系统， 其功能取决于网络的结构、连接强度以及各单元的处理方式。 人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。 1.神经网络概述 神经网络的基本属性 (1) 非线性：人脑智慧的非线性 (2) 非局域性：神经元相互作用 (3) 非定常性：自适应、自组织 (4) 非凸性：系统演变多样性
1.神经网络概述 1神经网络概述 1.神经网络概述 ■神经网络与计算机相比的特点 ■人工神经网络的特征 ■人工神经网络的特征 结构特征一并行处理、分布式存储、容错性】 能力特征-自学习、自组织、自适应 (1)以大规摸模拟并行处理为主 神经网络是由大量简单处理元件连接组成的亮度并行的非 (2)具有较强的鲁棒性和容错性 线任系统，具有大规模并行处理特征。虽然海个处理单元 自适应性包含自学习与自组织两层含义：自学习 的功能士分简单，但大量简单处理单元的并行话动性蜗馅 是指当外界环境发生变化时，经过一段时间的调 (3)具有较强的自学习能力 呈现出丰富的功能。结构上的并行性使神经网络的信息行 练或感知，神经过自动调整网络参数，使得对 密瓷尚隆不 于给定输入能产生期望的输出。自组织是指神经 《④是一个大规模自适应非线性动力学系统，具有集 系统能在外郎刺激下按一定规贝调整神经元之间 网络表现出良好的客错性，当都分神经元织坏和阳时不对系统 的突触连接，逐渐建立起神经网络。 体运算的能力 整体住能成形响。当缩出预、花或变形附，神短 络通过联想恢复完整的记忆。 1.神经网络概述 1.神经网络概述 1.神经网络概述 ■人工神经网络的功能 ■人工神经网络的功能 ■人工神经列络的功能 联想记忆 非线性映射 分类与识别 由于神经网络具有分布存储信息和并行处理信息的特 对输入样本的分类是在样本空可找出符合分类要求 点，因此它具有对外界刺激信息和输入横式进行联想 设计合理的神经网路通过对系统输入输出样本对进 的分割区域，每个区域内的样本属于一类， 记忆的能力。这种能力通过神经元之间的协同结构以 行自动学习，能筝以任意精度通近任意复杂的非线 及信息处理的集体行为而实现。 性映射。 @✉>圖 神臣网路 前出肤 屋>✉>盟 自对视真 嫩线射频列 巴→图 Ay 2
2 1.神经网络概述 神经网络与计算机相比的特点 (1) 以大规模模拟并行处理为主 (2) 具有较强的鲁棒性和容错性 (3) 具有较强的自学习能力 (4) 是一个大规模自适应非线性动力学系统，具有集 体运算的能力 1.神经网络概述 人工神经网络的特征 结构特征-------并行处理、分布式存储、容错性。 神经网络是由大量简单处理元件连接组成的高度并行的非 线性系统，具有大规模并行处理特征。虽然每个处理单元 的功能十分简单，但大量简单处理单元的并行活动使网络 呈现出丰富的功能。结构上的并行性使神经网络的信息存 储必然采取分布式方式，即信息不是存储在网络的某个局 部，而是分布在网络所有的连接权中。这两个特点使神经 网络表现出良好的容错性。当部分神经元损坏时不对系统 整体性能造成影响。当输出模糊、残缺或变形时，神经网 络通过联想恢复完整的记忆。 1.神经网络概述 人工神经网络的特征 能力特征-------自学习、自组织、自适应 自适应性包含自学习与自组织两层含义：自学习 是指当外界环境发生变化时，经过一段时间的训 练或感知，神经能过自动调整网络参数，使得对 于给定输入能产生期望的输出。 自组织是指神经 系统能在外部刺激下按一定规则调整神经元之间 的突触连接，逐渐建立起神经网络。 1.神经网络概述 人工神经网络的功能 联想记忆 由于神经网络具有分布存储信息和并行处理信息的特 点，因此它具有对外界刺激信息和输入模式进行联想 记忆的能力。这种能力通过神经元之间的协同结构以 及信息处理的集体行为而实现。 1.神经网络概述 人工神经网络的功能 非线性映射 设计合理的神经网络通过对系统输入输出样本对进 行自动学习，能够以任意精度逼近任意复杂的非线 性映射。 输入样本 神经网络 输出样本 自动提取 非线性映射规则 1.神经网络概述 人工神经网络的功能 分类与识别 对输入样本的分类是在样本空间找出符合分类要求 的分割区域，每个区域内的样本属于一类。 传统分类能力 ANN 分类能力
1.神经网络概述 1.神经网络概述 1.神经网络概述 ■人工神经同络的功能 ■人工神经网络的功能 ■人工神经网络的功能 优化计算 知识处理 优化计算 优化计算是指在已知的约束条件下，找一组参数组合， 神经网路从对的入出信 优化计算是指在已知的的束条件下，找一组参数组合 使由该组合确定的目标通数达到最小，可以把待求解问 息中抽取规而碳得关于对像 使由该组合确定的目标函数达到最小，可以把待求螺问 题的可变参数设计为网路的状态，将目标通数设计为网 的知识。井将知识分布在网路 题的可变参数设计为网络的状态，将目标递数设计为网 络的能量通数，从而稳定状态就是问题的最优解。 的连接中予以行储，神经网路 平行：通 络的能量话数，从而稳定状态就是问题的最优解。 的知识抽取能力使其够在 有任何先验知识的情况下自动 从入数据中提取特征，发现 现律， 并过自组织过程将自 身构建成适合于达所发现的 规律， 1.神经网络概述 1.神经网络概述 1.神经网络概述 神经网络在控制系统中的作用 神经网络在控制系统中的作用 神经网络在控制系统中的作用 (1)在基于横型的各种控制结构中充当对象的模型 神经网络通近非线性函数的能力为自控制理论 (1)在基于横型的各种控制结构中充当对橡的横型 (②☑用作控制器 发展提供了生机 (2)用作控制岳 ()在控制系统中起优化计算的作用 。从控制角度。对神经网络的要求更注重其实时学 (3)在控制系统中起优化计算的作用 习训训练能力和网铭结构的简单性 3
3 1.神经网络概述 人工神经网络的功能 优化计算 优化计算是指在已知的约束条件下，寻找一组参数组合， 使由该组合确定的目标函数达到最小。可以把待求解问 题的可变参数设计为网络的状态，将目标函数设计为网 络的能量函数，从而稳定状态就是问题的最优解。 1.神经网络概述 人工神经网络的功能 知识处理 神经网络从对象的输入输出信 息中抽取规律而获得关于对象 的知识，并将知识分布在网络 的连接中予以存储。神经网络 的知识抽取能力使其能够在没 有任何先验知识的情况下自动 从输入数据中提取特征，发现 规律，并通过自组织过程将自 身构建成适合于表达所发现的 规律。 问题解答 知识分布式表示 由一 知识获取、知识库 神经网 平行推理 络实现 输入数据 变量变换 求解的问题 神经网络专家系统的构成 1.神经网络概述 人工神经网络的功能 优化计算 优化计算是指在已知的约束条件下，寻找一组参数组合， 使由该组合确定的目标函数达到最小。可以把待求解问 题的可变参数设计为网络的状态，将目标函数设计为网 络的能量函数，从而稳定状态就是问题的最优解。 1.神经网络概述 神经网络在控制系统中的作用 (1) 在基于模型的各种控制结构中充当对象的模型 (2) 用作控制器 (3) 在控制系统中起优化计算的作用 1.神经网络概述 神经网络在控制系统中的作用 神经网络逼近非线性函数的能力为自动控制理论 发展提供了生机 从控制角度，对神经网络的要求更注重其实时学 习训练能力和网络结构的简单性 1.神经网络概述 神经网络在控制系统中的作用 (1) 在基于模型的各种控制结构中充当对象的模型 (2) 用作控制器 (3) 在控制系统中起优化计算的作用
2人工神经网络的基本概念一生物神经元 2.人工神经网络的基本概念一生物神经元 2人工神经网络的基本概念一生物神经元 ■生物神经元结构 ■细胞体：由经泡核、细跑质和细跑膜等组成 ■突触的信息处理 ■人脑大均由1012个神经元组成，神经元互相连接成裤经 ■树突：跑体上短而多分枝的突起。相当于神经元的输入 ■生物神经元传递信息的过程为多输入。单编出： 网路 端，接收传入的裤经冲动. ■神经元各组成部分的功能来看，信息的处理与传进主要 ■神经元以细跑体为主体，由许多向同围廷件的不规则树 枝状纤性构成的神经细，其形状很像一棵枯树的技干 ■轴突：跑体上最长枝的突起，也称神经纤组，端有很 发生在实鞋附近： ■主要由细胞体.树突.轴突和突触组成 多神经末稍5士轻冲动。相当于神经元的 ■突触有两种类型。兴奋性突触和抑制性突些 ■突能：神经元问的连接接口，每个神经元约1万-10 ■当特轻元脉冲信号在抽的末就触及突触前硬时。突触 万个突鞋。经元通过业其轴突的牌好末和，经交触与另 一神经元的树联接，实现信的传送，由于交触的 前便将向突触问程放神经传进的化学物质递质]， 息传递特性是可变的，形成了神经元问联接的柔性，称 经突触问购的液体扩散。在突触后膜与受体相结合。烟 为结构的可塑性， 此改变后硬的商子通透性，从而使后膜电位发生变化 ■细胞烫电位：神竖细跑在受到电的、化学的、机械的 例如。当前霞释放的兴奋性递质使实触后硬的电位超过 数后，能产生兴奋。时，空硬内外有电位差，称硬 了某个国值，后一个神经元有裤经脉冲输出，从而将前 电位。电位硬内为正，膜外为负。 个神经元的信息传进始了后一个神经元. 2,人工神经网络的基本概念一生物神经元 2人工神经网络的基本概念一生物神经元 2.人工神经网络的基本概念一人工神经元模型 ■信息传递功能与特点 ■信息传送功能与特点 ■神经元及其突触是神经网路的基本器件。因此， ■具有时空型合能力 ■神经纤维传导的速度一脉冲沿经纤维转递的 横拟生物神经网路应首先德财拟生物神经元→ ■同一时刻产生的激所起的要电位变化，大 速度，在1一150m/s之间 人工神经元（节点） 政等于各单独利激引起的硬电位变化的代数和. ■信息传送8时挺和不应期一一设为03-ms ■各输入脉冲品达神经元的时间先后不一样.总 ■可塑性—突蛙传送信息的强镜是可变的，即只 。从三个方面进行便拟： 的突触后腰电位为一极时问内的累积， 有学习功能 ■节点本身的信息处理能力（数学模型】 ■不可逆性—脉冲只从突触前传到突触后，不逆 快定人工种 ■存在学习、透忘或盘劳（饱和）效应—对应突 ■节点与节点之问连接（拓扑结构】 向传递 的三大要套 触传送作用地强.减的和饱和 ■相互连接的强度（适过学习来调整） 4
4 2.人工神经网络的基本概念—生物神经元 生物神经元结构 人脑大约由1012个神经元组成，神经元互相连接成神经 网络 神经元以细胞体为主体，由许多向周围延伸的不规则树 枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干 主要由细胞体、树突、轴突和突触组成 突触 神经末梢 树突 细胞核 细胞膜 轴突 细胞质 2.人工神经网络的基本概念—生物神经元 细胞体：由细胞核、细胞质和细胞膜等组成。 树突：胞体上短而多分枝的突起。相当于神经元的输入 端，接收传入的神经冲动。 轴突：胞体上最长枝的突起，也称神经纤维。端部有很 多神经末稍传出神经冲动。相当于神经元的输出端。 突触：神经元间的连接接口，每个神经元约有1万～10 万个突触。神经元通过其轴突的神经末稍，经突触与另 一神经元的树突联接，实现信息的传递。由于突触的信 息传递特性是可变的，形成了神经元间联接的柔性，称 为结构的可塑性。 细胞膜电位：神经细胞在受到电的、化学的、机械的刺 激后，能产生兴奋，此时，细胞膜内外有电位差，称膜 电位。电位膜内为正，膜外为负。 2.人工神经网络的基本概念—生物神经元 突触的信息处理 生物神经元传递信息的过程为多输入、单输出； 神经元各组成部分的功能来看，信息的处理与传递主要 发生在突触附近； 突触有两种类型，兴奋性突触和抑制性突触; 当神经元脉冲信号在轴突的末端触及突触前膜时，突触 前膜将向突触间隙释放神经传递的化学物质（递质）， 经突触间隙的液体扩散 ，在突触后膜与受体相结合。据 此改变后膜的离子通透性，从而使后膜电位发生变化。 例如，当前膜释放的兴奋性递质使突触后膜的电位超过 了某个阈值，后一个神经元有神经脉冲输出，从而将前 一个神经元的信息传递给了后一个神经元。 2.人工神经网络的基本概念—生物神经元 信息传递功能与特点 具有时空整合能力 同一时刻产生的刺激所引起的膜电位变化，大 致等于各单独刺激引起的膜电位变化的代数和。 各输入脉冲抵达神经元的时间先后不一样。总 的突触后膜电位为一段时间内的累积。 不可逆性——脉冲只从突触前传到突触后，不逆 向传递 2.人工神经网络的基本概念—生物神经元 信息传递功能与特点 神经纤维传导的速度——脉冲沿神经纤维传递的 速度，在1—150m／s之间 信息传递时延和不应期——一般为0.3～lms 可塑性——突触传递信息的强度是可变的，即具 有学习功能 存在学习、遗忘或疲劳（饱和）效应——对应突 触传递作用增强、减弱和饱和 2.人工神经网络的基本概念—人工神经元模型 神经元及其突触是神经网络的基本器件。因此， 模拟生物神经网络应首先模拟生物神经元 人工神经元（节点） 从三个方面进行模拟: 节点本身的信息处理能力（数学模型） 节点与节点之间连接（拓扑结构） 相互连接的强度（通过学习来调整） 决定人工神经 网络整体性能 的三大要素
2.人工神经网络的基本概念一人工神经元模型 2,人工神经网络的基本概念一人工神经元模型 2,人工神经网络的基本概念一人工神经元模型 ■人工神经元的建模 ■M-P梗型图解 ■M-P模型图解 1943年心硬学家cCulloch数学家M.Pitts在分析芯结神经 元基本特性的基础上提出M-P便型，经过不斯改进形成广泛 应用的神经元颅型。 ○ ■便型的六点假设 ■每个神经元是一个多输入单输出的信息处理单 钟基得入的编司 量人知根 ,元入分兴音性输入和性输入两种关型 )家输入单维出 ■神经元具有空问整合特性和司值特性： ■神经元输入与出固定的时沸： 正如生物神经元有许多新罐入一样。人工神经元他应该有 ■忽路时间整合作用和不应期： i 许多的罐入信号，图中每个输入的大小用确定数值x表示， ■神经元本身非时变，即其突触时延和突胎温度均 它们同时输入神经元，神经元的单罐出用0表示， 为常数。 问增入年根来和 街装人楼新图新 2.人工神经网络的基本概念、一人工神经元模型 2.人工神经网络的基本概念一人工排经元模型 2.人工神经网络的基本概念一人工神经元模型 ■M-P模型图解 ■M-P横型图解 ■M-P模型图解 Xi WU 用可 0 四缩人g根 的检人农求和 生物神经元具有不同的茫性质和院佐温瘦，其对输入的响是硬 )家推入单输出 有输入在经元产生球冲输出过程中在的作用比月外 出入 对神经元的每一个输入布 正如生物神经元有许多葡销入一样，人工神经元他应该有 许多的端入信号，区中每个输入的大小用确定数的表示， 应于生物料超元的膜电位。神经元活与否取决于某一便值电平。 只有当其馆入总和超过调时.神延元才活而泼的球冲，香则 它们同时输入持经元，神经元的单输出用0表示， 神经元不会产生出信号 5
5 2.人工神经网络的基本概念—人工神经元模型 人工神经元的建模 模型的六点假设 每个神经元都是一个多输入单输出的信息处理单 元； 神经元输入分兴奋性输入和抑制性输入两种类型； 神经元具有空间整合特性和阈值特性； 神经元输入与输出间有固定的时滞； 忽略时间整合作用和不应期； 神经元本身非时变，即其突触时延和突触强度均 为常数。 1943年心理学家McCulloch数学家W. Pitts在分析总结神经 元基本特性的基础上提出M-P模型，经过不断改进形成广泛 应用的神经元模型。 2.人工神经网络的基本概念—人工神经元模型 M-P模型图解 2.人工神经网络的基本概念—人工神经元模型 M-P模型图解 正如生物神经元有许多激励输入一样，人工神经元也应该有 许多的输入信号，图中每个输入的大小用确定数值xi表示， 它们同时输入神经元j，神经元的单输出用oj表示。 2.人工神经网络的基本概念—人工神经元模型 M-P模型图解 生物神经元具有不同的突触性质和突触强度，其对输入的影响是使 有些输入在神经元产生脉冲输出过程中所起的作用比另外一些输入 更为重要。图(b)中对神经元的每一个输入都有一个加权系数wij，称 为权值，其正负模拟了生物神经元中突触的兴奋和抑制，其大小则 代表了突触的不同连接强度。 2.人工神经网络的基本概念—人工神经元模型 M-P模型图解 正如生物神经元有许多激励输入一样，人工神经元也应该有 许多的输入信号，图中每个输入的大小用确定数值xi表示， 它们同时输入神经元j，神经元的单输出用oj表示。 2.人工神经网络的基本概念—人工神经元模型 M-P模型图解 作为ANN的基本处理单元，必须对全部输入信号进行整合，以确定 各类输入的作用总效果，图(c)表示组合输人信号的“总和值”，相 应于生物神经元的膜电位。神经元激活与否取决于某一阈值电平， 即只有当其输入总和超过阈值时, 神经元才被激活而发放脉冲, 否则 神经元不会产生输出信号