神经网络讲义
神经网络讲义
1.自我介绍:姓名,E-mai地址 2.登记学生名单 非电信系学生凭选课单上课 有选课单未上课的,老师有权给0分。 3.讲授计划: 第一课:绪论 第二课:介绍 Matlab及其神经网络工具包 第三课:神经元与网络结构 第四课:感知机( Perceptron) 第五课:线性神经网络( Adaline) 第六课:后向传播网络( Backpropagation) 第七课:自学习规则 第八课:自组织网络、 Hopfield网络 第九课:期末考试 4.授课方式:讲授与练习相结合。 授课主要以 Matlab为工具,在第四、五、六、八课均有课后作业。 每次作业占两个课时。完成后以电子邮件形式将word文档发到信箱:标题写“神 经网络作业”,写明如何使用该文件。教师通过上机检查。 5.考试方式 平时作业:50%:课后作业,以软件为主 期末考试:50%:开卷考试,以概念为主。 6.参考书目 《人工神经网络》,郑君里,杨行峻主编,1992年9月高教出版社第1版 ●《神经网络与模糊控制》,张乃尧,阎平凡编著,1998年10月清华大学出版社第 版 ●《基于 Matlab的系统分析与设计—一神经网络》,楼顺天,施阳主编,1999年9 月西安电子科技大学出版社第1版 英文文献
1. 自我介绍：姓名，E－mail 地址 2. 登记学生名单： ⚫ 非电信系学生凭选课单上课； ⚫ 有选课单未上课的，老师有权给 0 分。 3. 讲授计划： 第一课：绪论 第二课：介绍 Matlab 及其神经网络工具包 第三课：神经元与网络结构 第四课：感知机（Perceptron） 第五课：线性神经网络（Adaline） 第六课：后向传播网络（Bckpropagation） 第七课：自学习规则 第八课：自组织网络、Hopfield 网络 第九课：期末考试 4. 授课方式：讲授与练习相结合。 ⚫ 授课主要以 Matlab 为工具，在第四、五、六、八课均有课后作业。 ⚫ 每次作业占两个课时。完成后以电子邮件形式将 word 文档发到信箱；标题写“神 经网络作业”，写明如何使用该文件。教师通过上机检查。 5. 考试方式： ⚫ 平时作业：50％；课后作业，以软件为主； ⚫ 期末考试：50％；开卷考试，以概念为主。 6. 参考书目： ⚫ 《人工神经网络》，郑君里，杨行峻主编，1992 年 9 月高教出版社第 1 版； ⚫ 《神经网络与模糊控制》，张乃尧，阎平凡编著，1998 年 10 月清华大学出版社第 1 版； ⚫ 《基于 Matlab 的系统分析与设计——神经网络》，楼顺天，施阳主编，1999 年 9 月西安电子科技大学出版社第 1 版； ⚫ 英文文献：
第一讲绪论 神经网络的定义 神经网络是用非常大量的简单计算处理单元(即神经元)构成的非线性系统,它具 有学习能力、记忆能力、计算能力以及各种智能处理能力,它在不同程度和层次上模仿 人脑神经系统的信息处理、存储及检索功能 利用它完成各项信号处理或人工智能任务时在许多方面可以胜过普通的冯诺依曼 计算机 2.本课程的研究内容 人工神经网络是一门新兴的交叉学科。不同领域的学者对此有着不同的理解,不 同的研究内容并且采取不同的研究方法。对于从事电路与系统、信号处理、通信等领域的研 究人员,侧重于利用人工神经网络来解决各项特定的智能处理任务,诸如:识别、分类、联 想、优化、推理以及发现规律等。本课程的研究内容仅限于此 本课程的研究途径 由于人工神经网络的研究正处于迅速发展阶段,在研究思路、教学方法、处理 对象以及结构和硬件构成等方面存在着种种差异很大的学说和流派,相应的文献与资料的数 量迅速增加。因此,要将这一领域的主要硏究内容和方法扼要、完整地整理出来必然有很大 地困难。按照本课程地需要,主要介绍以下三种重要地研究途径 第一种是按照物理模型构成地神经网络,其中包括采用非概率神经元模型地 Hopfield神经网络 第二种是以自适应信号处理理论为基础发展起来地,其中最著名地就是前向多 层神经网络及其递推(BP)学习方法 第三种是按照自组织原则构成地神经网络,其中有代表性的是自适应谐振理论 (ART)神经网络和T· Kohonen提出的自组织特征映射神经网络 这三种途径各有其有缺点。从算法的系统性和完整性看,第一、二种优于第三 种。而从模仿人的认知过程和智能处理功能看,后者又优于前者。从立即导向一种实用系统 而言,第二种相对困难较少。 4.神经网络的研究热点 1)在神经网络硏究中采用模糊算法,构成模糊人工神经网络 2)用混沌( Chaos)理论研究人工神经网络 3)加强与其它有关学科的交叉,特别是心理学、神经生理学、生物化学与生物物理学 以及人工智能科学等等 4)用小波理论研究神经网络,形成小波神经网络 5)人工神经网络的可编程问题; 6)利用分子器件实现人工神经网络:指硬件实现
第一讲 绪论 1. 神经网络的定义 神经网络是用非常大量的简单计算处理单元（即神经元）构成的非线性系统，它具 有学习能力、记忆能力、计算能力以及各种智能处理能力，它在不同程度和层次上模仿 人脑神经系统的信息处理、存储及检索功能。 利用它完成各项信号处理或人工智能任务时在许多方面可以胜过普通的冯·诺依曼 计算机。 2. 本课程的研究内容 人工神经网络是一门新兴的交叉学科。不同领域的学者对此有着不同的理解，不 同的研究内容并且采取不同的研究方法。对于从事电路与系统、信号处理、通信等领域的研 究人员，侧重于利用人工神经网络来解决各项特定的智能处理任务，诸如：识别、分类、联 想、优化、推理以及发现规律等。本课程的研究内容仅限于此。 3. 本课程的研究途径 由于人工神经网络的研究正处于迅速发展阶段，在研究思路、教学方法、处理 对象以及结构和硬件构成等方面存在着种种差异很大的学说和流派，相应的文献与资料的数 量迅速增加。因此，要将这一领域的主要研究内容和方法扼要、完整地整理出来必然有很大 地困难。按照本课程地需要，主要介绍以下三种重要地研究途径。 第一种是按照物理模型构成地神经网络，其中包括采用非概率神经元模型地 Hopfield 神经网络。 第二种是以自适应信号处理理论为基础发展起来地，其中最著名地就是前向多 层神经网络及其递推（BP）学习方法。 第三种是按照自组织原则构成地神经网络，其中有代表性的是自适应谐振理论 （ART）神经网络和 T·Kohonen 提出的自组织特征映射神经网络。 这三种途径各有其有缺点。从算法的系统性和完整性看，第一、二种优于第三 种。而从模仿人的认知过程和智能处理功能看，后者又优于前者。从立即导向一种实用系统 而言，第二种相对困难较少。 4. 神经网络的研究热点 1） 在神经网络研究中采用模糊算法，构成模糊人工神经网络； 2） 用混沌（Chaos）理论研究人工神经网络； 3） 加强与其它有关学科的交叉，特别是心理学、神经生理学、生物化学与生物物理学、 以及人工智能科学等等； 4） 用小波理论研究神经网络，形成小波神经网络； 5） 人工神经网络的可编程问题； 6） 利用分子器件实现人工神经网络：指硬件实现
第二讲 Matlab与神经网络工具箱 Matlab简介 具有 Fortran和C高级计算机语言知识的读者可能已经注意到,如果用它们去进行 程序设计,尤其当涉及矩阵运算或画图时,编程会很麻烦。比如说,若想求解一个线性 代数方程组AX=B→>X=AB,用户得首先编写一个主程序,然后编写一个子程序去读 入各个矩阵的元素,之后再编写一个子程序,求解相应的方程,最后输出结果。一般说 来,求解线性方程组这样一个简单的功能需要100多条源程序。 Matlab的首创者 Cleve moler博士在数值分析,特别是在是指线性代数的领域中很 有影响。1980年前后,他在 New mexico大学讲授线性代数课程时,发现用其它高级语 言编程极为不便,便构思并开发了 Matlab( Matrix Laboratory,即矩阵实验室)。在 Matlab 下,矩阵的运算变得异常的容易,后来的版本中又增添了图象处理及多媒体、因特网、 数据库等功能 Matlab出现以后一直在美国的 New mexico等大学作为教学辅助软件使用,并作为 面向公众的免费软件广为流传。 Matlab于1984年推出了正式版本。后来 Moler组建了 一个名为MathWorks的软件开发公司(htp:∥www.Mathworks.com)专门扩展并改进 Matlab。该公司于1992年推出具有划时代意义的 Matlab40版。可以配合 Microsoft Windows一起使用。1998年推出53版。2000年11月6日推出最新版本 Matlab60。 Matlab6.0有30个工具箱包,包括控制系统工具箱( Control System Toolbox),信 号处理工具箱( Signal processing toolbox),系统辨识工具箱( System Identification toolbox),鲁棒控制工具箱( Robust control toolbox),μ分析于综合工具箱(μ- analysis and synthesis toolbox),定量反馈理论工具箱( QFT toolbox),神经网络工具箱( Neural Network toolbox),最优化工具箱( Optimisation toolbox),数据库工具箱( Database toolbox),网络工具箱( Matlab WebServer)等。 现在的 Matlab已经不仅仅是一个“矩阵实验室”了,它已经形成了一种具有广泛 应用前景的全新的计算机高级语言。严格的说, Matlab并不是一种计算机语言,因为用 它编写出来的程序并不能脱离 Matlab环境而执行,但从功能上说, Matlab已经完全具 备了计算机语言的结构和性能,因此我们也习惯的称之为 Matlab语言。 Matlab5.3以上版本提供了C/C艹的接口,通过另外一个工具 Matcom,能用Ⅴ isual C*调用 Matlab编写的程序,从而大大减少C程序的编写难度。此工具我已经用过, 效果不错。 2. Matlab的基本操作 1) Matlab的安装 关键是选择合适的工具箱和相应的帮助文件 2)帮助文件( helpdesk) 两种:(1)pdf格式:系统详细介绍了 Matlab的基本结构,各个命令的使用。工具 包的相关技术、命令,非常详实,简单、易学,共100多M的容量 (2)hm格式:主要是命令,各种基本命令及工具箱命令的搜索,及相关 命令调用等。 3) 详尽演示矩阵运算、图形显示、工具箱的使用等 4)退出:exit或quit命令
第二讲 Matlab 与神经网络工具箱 1. Matlab 简介 具有 Fortran 和 C 高级计算机语言知识的读者可能已经注意到，如果用它们去进行 程序设计，尤其当涉及矩阵运算或画图时，编程会很麻烦。比如说，若想求解一个线性 代数方程组 AX=B=>X=A－1B，用户得首先编写一个主程序，然后编写一个子程序去读 入各个矩阵的元素，之后再编写一个子程序，求解相应的方程，最后输出结果。一般说 来，求解线性方程组这样一个简单的功能需要 100 多条源程序。 Matlab 的首创者 Cleve Moler 博士在数值分析，特别是在是指线性代数的领域中很 有影响。1980 年前后，他在 New Mexico 大学讲授线性代数课程时，发现用其它高级语 言编程极为不便，便构思并开发了 Matlab（Matrix Laboratory，即矩阵实验室）。在 Matlab 下，矩阵的运算变得异常的容易，后来的版本中又增添了图象处理及多媒体、因特网、 数据库等功能。 Matlab 出现以后一直在美国的 New Mexico 等大学作为教学辅助软件使用，并作为 面向公众的免费软件广为流传。Matlab 于 1984 年推出了正式版本。后来 Moler 组建了 一个名为 MathWorks 的软件开发公司（http：// www. Mathworks.com）专门扩展并改进 Matlab。该公司于 1992 年推出具有划时代意义的 Matlab 4.0 版。可以配合 Microsoft Windows 一起使用。1998 年推出 5.3 版。2000 年 11 月 6 日推出最新版本 Matlab 6.0。 Matlab 6.0 有 30 个工具箱包，包括控制系统工具箱（Control System Toolbox），信 号处理工具箱（Signal Processing toolbox），系统辨识工具箱（System Identification toolbox），鲁棒控制工具箱（Robust Control toolbox），μ分析于综合工具箱（μ-analysis and synthesis toolbox），定量反馈理论工具箱（QFT toolbox），神经网络工具箱（Neural Network toolbox），最优化工具箱（Optimisation toolbox），数据库工具箱（Database toolbox），网络工具箱（Matlab WebServer）等。 现在的 Matlab 已经不仅仅是一个“矩阵实验室”了，它已经形成了一种具有广泛 应用前景的全新的计算机高级语言。严格的说，Matlab 并不是一种计算机语言，因为用 它编写出来的程序并不能脱离 Matlab 环境而执行，但从功能上说，Matlab 已经完全具 备了计算机语言的结构和性能，因此我们也习惯的称之为 Matlab 语言。 Matlab 5.3 以上版本提供了 C/C++的接口，通过另外一个工具 MatCom，能用 Visual C ＋＋调用 Matlab 编写的程序，从而大大减少 C ＋＋程序的编写难度。此工具我已经用过， 效果不错。 2. Matlab 的基本操作 1） Matlab 的安装 关键是选择合适的工具箱和相应的帮助文件。 2） 帮助文件（helpdesk） 两种：（1）pdf 格式：系统详细介绍了 Matlab 的基本结构，各个命令的使用。工具 包的相关技术、命令，非常详实，简单、易学，共 100 多 M 的容量。 （2）html 格式：主要是命令，各种基本命令及工具箱命令的搜索，及相关 命令调用等。 3） 演示（demo） 详尽演示矩阵运算、图形显示、工具箱的使用等。 4） 退出：exit 或 quit 命令
3. Matlab的基本语句结构 Matlab实际上可以认为是一种解释性语言,用户可以在 Matlab工作环境下键入 个命令,也可以由它定义的语言编写应用程序,这样 Matlab软件对此命令或程序中各条 命令进行翻译,然后在 Matlab环境下对它进行计算,最后返回结果。 1)基本的赋值语句 变量名列表=表达式 如:A=[,2,3;4,5,6;7,8,0(列于旁边,以后要用) 等号右边的表达式可以用分号结束,也可以用逗号或换行号结束。用分号结束 表示左边的变量结果将不在屏幕显示出来,否则左边返回矩阵的内容全部显示 出来 Matlab区分大小写,Abe,ABC,abc表示不同的矩阵名,但实际编程时应尽 量避免这样的命名方式。 在矩阵A中,同一行中的内容用逗号分隔,而采用分号来表示换行。按这种 格式输入后,矩阵A的内容将按照下面的格式显示出来: A=[1,2,3:4,5,6;7,8,0] 123 A=456 780 如果在上面赋值的式子末尾加一个分号,则矩阵的内容就不在屏幕上显示 了。所以用户可以通过是否在语句末加分号的方式来决定运算的结果是否显示出 来,这样就可以使得不必要的中间结果部分不被显示出来 一般情况下,用于同行中分隔的逗号是可以由空格来代替的。其实, Matlab 的矩阵输入格式并不是很严格,矩阵A还可以由下面的两种方式来输入 >>A=[123;456 >>A=[1234,5 780] 6,780]; (.)为续行号。在一个语句相当长时,可以采用续行号将一条语句分割 成几行表示。 2) Matlab的保留字符串 (1)判断0元素用的误差限eps,其默认值为eps=2.2204×1016 (2)pi表示圆周率 (3)Inf表示无穷大。 Matlab允许的最大数据为1797693×10308:一个数据 大于此数则认为是Inf。1/0产生Inf。 即使在 Matlab中保留了若干字符串,它们还可以重新进行赋值。如果用户想 将判0的误差限扩大10倍,则可以采用eps=10×eps命令来进行修正 4.矩阵的基本运算 矩阵A有n行m列,称A矩阵为n×m矩阵。 1)矩阵加减法运算:C=A+B和C=A-B 若A、B的维数相同,则可以执行加减法,得到矩阵C 若A、B的维数不匹配,则 Matlab将自动给出错误信息,提示两个矩阵的维
3. Matlab 的基本语句结构 Matlab 实际上可以认为是一种解释性语言，用户可以在 Matlab 工作环境下键入一 个命令，也可以由它定义的语言编写应用程序，这样 Matlab 软件对此命令或程序中各条 命令进行翻译，然后在 Matlab 环境下对它进行计算，最后返回结果。 1） 基本的赋值语句 变量名列表=表达式 如：A=[1，2，3；4，5，6；7，8，0]（列于旁边，以后要用） ⚫ 等号右边的表达式可以用分号结束，也可以用逗号或换行号结束。用分号结束 表示左边的变量结果将不在屏幕显示出来，否则左边返回矩阵的内容全部显示 出来。 ⚫ Matlab 区分大小写，Abc，ABC，abc 表示不同的矩阵名，但实际编程时应尽 量避免这样的命名方式。 ⚫ 在矩阵 A 中，同一行中的内容用逗号分隔，而采用分号来表示换行。按这种 格式输入后，矩阵 A 的内容将按照下面的格式显示出来： A=[1，2，3；4，5，6；7，8，0]↘ 1 2 3 A= 4 5 6 7 8 0 如果在上面赋值的式子末尾加一个分号，则矩阵的内容就不在屏幕上显示 了。所以用户可以通过是否在语句末加分号的方式来决定运算的结果是否显示出 来，这样就可以使得不必要的中间结果部分不被显示出来。 一般情况下，用于同行中分隔的逗号是可以由空格来代替的。其实，Matlab 的矩阵输入格式并不是很严格，矩阵 A 还可以由下面的两种方式来输入： >>A=[1 2 3；4 5 6； >>A=[1 2 3;4,5,… 7 8 0]； 6;7 8,0]； （…）为续行号。在一个语句相当长时，可以采用续行号将一条语句分割 成几行表示。 2） Matlab 的保留字符串 （1） 判断 0 元素用的误差限 eps，其默认值为 eps=2.2204×10-16 （2） pi 表示圆周率 （3） Inf 表示无穷大。Matlab 允许的最大数据为 1.797693×10308；一个数据 大于此数则认为是 Inf。1/0 产生 Inf。 即使在 Matlab 中保留了若干字符串，它们还可以重新进行赋值。如果用户想 将判 0 的误差限扩大 10 倍，则可以采用 eps=10×eps 命令来进行修正。 4. 矩阵的基本运算 矩阵 A 有 n 行 m 列，称 A 矩阵为 n×m 矩阵。 1） 矩阵加减法运算：C=A+B 和 C=A－B。 ⚫ 若 A、B 的维数相同，则可以执行加减法，得到矩阵 C； ⚫ 若 A、B 的维数不匹配，则 Matlab 将自动给出错误信息，提示两个矩阵的维