神经网络讲义
神经网络讲义
第0讲前言 1.自我介绍:姓名,E-mai地址 2.登记学生名单 非电信系学生凭选课单上课 有选课单未上课的,老师有权给0分 3.讲授计划 第一课:绪论 第二课:介绍 Matlab及其神经网络工具包 第三课:神经元与网络结构 第四课:感知机( Perceptron 第五课:线性神经网络( Adaline) 第六课:后向传播网络( Bckpropagat 第七课:自学习规则 第八课:自组织网络、 Hopfield网络 第九课:期末考试 4.授课方式:讲授与练习相结合。 °椒数个工克改后在电子图件形式y0《友标题写“神 经网络作业”,写明如何使用该文件。教师通过上机检查 5.考试方式 平时作业:50%;课后作业,以软件为主 期末考试:50%:开卷考试,以概念为主 6.参考书目: 《人工神经网络》,郑君里,杨行峻主编,1992年9月高教出版社第1版 ●《神经网络与模糊控制》,张乃尧,阎平凡编著,1998年10月清华大学出版社第1 版; ●《基于 Matlab的系统分析与设计—一神经网络》,楼顺天,施阳主编,1999年9 月西安电子科技大学出版社第1版 英文文献: Neural Network Toolbox For Use with Matlab User Guide Version4, Matlab Help
第 0 讲 前言 1. 自我介绍：姓名，E－mail 地址 2. 登记学生名单： ⚫ 非电信系学生凭选课单上课； ⚫ 有选课单未上课的，老师有权给 0 分。 3. 讲授计划： 第一课：绪论 第二课：介绍 Matlab 及其神经网络工具包 第三课：神经元与网络结构 第四课：感知机（Perceptron） 第五课：线性神经网络（Adaline） 第六课：后向传播网络（Bckpropagation） 第七课：自学习规则 第八课：自组织网络、Hopfield 网络 第九课：期末考试 4. 授课方式：讲授与练习相结合。 ⚫ 授课主要以 Matlab 为工具，在第二、四、五、六、八课均有课后作业。 ⚫ 每次作业占两个课时。完成后以电子邮件形式将 word 文档发到信箱；标题写“神 经网络作业”，写明如何使用该文件。教师通过上机检查。 5. 考试方式： ⚫ 平时作业：50％；课后作业，以软件为主； ⚫ 期末考试：50％；开卷考试，以概念为主。 6. 参考书目： ⚫ 《人工神经网络》，郑君里，杨行峻主编，1992 年 9 月高教出版社第 1 版； ⚫ 《神经网络与模糊控制》，张乃尧，阎平凡编著，1998 年 10 月清华大学出版社第 1 版； ⚫ 《基于 Matlab 的系统分析与设计——神经网络》，楼顺天，施阳主编，1999 年 9 月西安电子科技大学出版社第 1 版； ⚫ 英文文献：Neural Network Toolbox For Use with Matlab User Guide Version 4, Matlab Help
第一讲绪论 以冯·诺依曼型计算机为中心的信息处理技术的高速发展,使得计算机在当今的信息化 社会中起着十分重要的作用。但是,当用它来解决某些人工智能问题时却遇到了很大的困难。 例如,一个人可以很容易地识别他人的脸孔,但计算机则很难做到这一点。这是因为脸 孔的识别不能用一个精确的数学模型加以描述,而计算机工作则必须有对模型进行各种运算 的指令才行,得不到精确的模型,程序也就无法编制。而大脑是由生物神经元构成的巨型网 络,它在本质上不同于计算机,是一种大规模的并行处理系统,它具有学习、联想记忆、综 合等能力,并有巧妙的信息处理方法。人工神经网络(简称神经网络)也是由大量的、功能比 较简单的形式神经元互相连接而构成的复杂网络系统,用它可以模拟大脑的许多基本功能和 简单的思维方式。尽管它还不是大脑的完美元缺的模型,但它可以通过学习来获取外部的知 识并存贮在网络内,可以解决计算机不易处理的难题,特别是语音和图像的识别、理解、知 识的处理、组合优化计算和智能控制等一系列本质上是非计算的问题 因此,神经网络技术已成为当前人工智能领域中最令人感兴趣和最富有魅力的研究课题 1.1神经网络的研究发展史 1.1.1第一次神经网络研究高潮 对大脑神经元的研究表明,当其处于兴奋状态时,输出侧的轴突就会发出脉冲信号,每 个神经元的树状突起与来自其它神经元轴突的互相结合部(此结合部称为 Synapse,即突触) 接收由轴突传来的信号。如果一神经元所接收到的信号的总和超过了它本身的“阈值”,则 该神经元就会处于兴奋状态,并向它后续连接的神经元发出脉冲信号 1943年,W.S. Mcculloch和w.Pits根据上述研究发表了他们的神经元模型,通常 称为MP模型。在该模型中,当神经元处于兴奋状态时,其输出为1:处于非兴奋状态时 输出为0。 1949年,D. O. Hebb提出了神经元的学习法则,即Hebb法则。当神经元兴奋时,输入 侧的突触结合强度由于受到刺激而得到增强,这就给神经网络带来了所谓的“可塑性”,并 被认为是用神经网络进行模式识别和记忆的基础。到现在为止,大部分神经网络型机器的学 习法则仍采用Hebb法则或它的改进形式 50年代末,F. Rosenblatt基于上述原理提出了一种模式识别机,即感知机( Perceptron) 模型。它是由光接收单元组成的输入层,MP神经元构成的联合层和输出层构成。输入层和 联合层之间的结合可以不是全连接,而联合层与输出层神经元之间一般是全连接,用教师信 号可以对感知机进行训练 在Heb的学习法则中,只有加强突触结合强度这一功能,但在感知机中,除此之外还 加入了当神经元发生错误的兴奋时,能接受教师信号的指导去减弱突触的结合强度这一功 感知机是现代神经计算的出发点。Blok于1962年用解析法证明了感知机的学习收敛 定理。正是由于这一定理的存在,才使得感知机的理论具有实际的意义,并引发了60年代 以感知机为代表的第一次神经网络研究发展的高潮。然而,遗憾的是感知机只能对线性可分 离的模式进行正确的分类。当输入模式是线性不可分离时,则无论怎样调节突触的结合强度 和阂值的大小也不可能对输入进行正确的分类。以后, Rosenblatt又提出了4层式感知机 即在它的两个联合层之间,通过提取相继输入的各模式之间的相关性来获得模式之间的依存 性信息,这样做可使无教师学习成为可能。M,. Minsky和 S Papert进一步发展了感知机的 理论,他们把感知机定义为一种逻辑函数的学习机,即若联合层的特征检出神经元具有某 种任意的预先给定的逻辑函数,则通过对特征检出神经元功能的研究就可以识别输入模式的
第一讲 绪论 以冯·诺依曼型计算机为中心的信息处理技术的高速发展，使得计算机在当今的信息化 社会中起着十分重要的作用。但是，当用它来解决某些人工智能问题时却遇到了很大的困难。 例如，一个人可以很容易地识别他人的脸孔，但计算机则很难做到这一点。这是因为脸 孔的识别不能用一个精确的数学模型加以描述，而计算机工作则必须有对模型进行各种运算 的指令才行，得不到精确的模型，程序也就无法编制。而大脑是由生物神经元构成的巨型网 络，它在本质上不同于计算机，是一种大规模的并行处理系统，它具有学习、联想记忆、综 合等能力，并有巧妙的信息处理方法。人工神经网络(简称神经网络)也是由大量的、功能比 较简单的形式神经元互相连接而构成的复杂网络系统，用它可以模拟大脑的许多基本功能和 简单的思维方式。尽管它还不是大脑的完美元缺的模型，但它可以通过学习来获取外部的知 识并存贮在网络内，可以解决计算机不易处理的难题，特别是语音和图像的识别、理解、知 识的处理、组合优化计算和智能控制等一系列本质上是非计算的问题。 因此，神经网络技术已成为当前人工智能领域中最令人感兴趣和最富有魅力的研究课题 之一。 1．1 神经网络的研究发展史 1．1．1 第一次神经网络研究高潮 对大脑神经元的研究表明，当其处于兴奋状态时，输出侧的轴突就会发出脉冲信号，每 个神经元的树状突起与来自其它神经元轴突的互相结合部(此结合部称为 Synapse，即突触) 接收由轴突传来的信号。如果—神经元所接收到的信号的总和超过了它本身的“阈值”，则 该神经元就会处于兴奋状态，并向它后续连接的神经元发出脉冲信号。 1943 年，W．S．McCulloch 和 W．Pitts 根据上述研究发表了他们的神经元模型，通常 称为 MP 模型。在该模型中，当神经元处于兴奋状态时，其输出为 1；处于非兴奋状态时， 输出为 0。 1949 年，D.O.Hebb 提出了神经元的学习法则，即 Hebb 法则。当神经元兴奋时，输入 侧的突触结合强度由于受到刺激而得到增强，这就给神经网络带来了所谓的“可塑性”，并 被认为是用神经网络进行模式识别和记忆的基础。到现在为止，大部分神经网络型机器的学 习法则仍采用 Hebb 法则或它的改进形式。 50 年代末，F．Rosenblatt 基于上述原理提出了一种模式识别机，即感知机(Perceptron) 模型。它是由光接收单元组成的输入层，MP 神经元构成的联合层和输出层构成。输入层和 联合层之间的结合可以不是全连接，而联合层与输出层神经元之间一般是全连接，用教师信 号可以对感知机进行训练。 在 Hebb 的学习法则中，只有加强突触结合强度这一功能，但在感知机中，除此之外还 加入了当神经元发生错误的兴奋时，能接受教师信号的指导去减弱突触的结合强度这一功 能。 感知机是现代神经计算的出发点。Block 于 1962 年用解析法证明了感知机的学习收敛 定理。正是由于这一定理的存在，才使得感知机的理论具有实际的意义，并引发了 60 年代 以感知机为代表的第一次神经网络研究发展的高潮。然而，遗憾的是感知机只能对线性可分 离的模式进行正确的分类。当输入模式是线性不可分离时，则无论怎样调节突触的结合强度 和阂值的大小也不可能对输入进行正确的分类。以后，Rosenblatt 又提出了 4 层式感知机， 即在它的两个联合层之间，通过提取相继输入的各模式之间的相关性来获得模式之间的依存 性信息，这样做可使无教师学习成为可能。M．Minsky 和 S.Papert 进一步发展了感知机的 理论，他们把感知机定义为一种逻辑函数的学习机，即若联合层的特征检出神经元具有某一 种任意的预先给定的逻辑函数，则通过对特征检出神经元功能的研究就可以识别输入模式的
几何学性质。此外,他们还把感知机看作并行计算理论中的一个例子,即联合层的每个神经 元只对输人的提示模式的某些限定部分加以计算,然后由输出神经元加以综合并输出最终结 果。联合层各神经元的观察范围越窄,并行计算的效果就越好。 Minsky等人首先把联合层 的各神经元对输入层的观察范围看作一个直径为有限大的圆,这与高等动物的大脑中的视觉 检出神经元在视网膜上只具有一个有限的视觉范围原理极为相似。但是,由于在如何规定直 径的大小上没有明确的理论指导,所以只能作出联合层的神经元对输人层上的观察点的个数 取一个有限值这样的规定。为了研究感知机的本质,特别是神经计算的本质究竟是什么,还 对决定论中的一些代表性方法,如向量法、最短距离法、统计论中的最优法、 Bayes定理、 登山法、最急下降法等进行了比较研究,并以此来寻求它们的类同点和不同点。研究的结果 表明,有时即使是采用多层构造,也可能对识别的效果毫无帮助。对某些识别对象,即使能 分类识别,但却需要极大量的中间层神经元,以致失去了实际意义。当采用最急下降法时 若对象的“地形”很差,则有可能无法得到最佳值,即使能得到最佳值,也可能因为所需的 学习时间太长或权系数的取值范围太宽而毫无实用价值。一般认为,由于 Minsky的地位和 他的这一研究断定了关于感知机的研究不会再有什么大的成果,而使第一次神经网络的研究 热潮逐渐地被冷却了下来。 B. Widraw在稍后于感知机一些时候提出了 Adline分类学习机。它在结构上与感知机 相似,但在学习法则上采用了最小二乘平均误差法。以后,他又把这一方法用于自适应实时 处理滤波器,并得到了进一步的发展 1961年,E.R. Caianiello提出了能实现记忆和识别的神经网络模型,它由学习方程式 和记忆方程式两部分组成。尽管这一研究没有超出以前的成果,也没有实际的应用例子,但 由于它在神经网络的可塑性理论方面给出了一些重要的结论而得到了高度的评价。 与上述神经网络研究相平行的是在这一段时期内,脑的生理学方面的研究也在不断地发 展。D.H. Huble和T.W. Wiesel从50年代后半期开始对大脑视觉领域的神经元的功能 进行了一系列的研究。研究结果表明:视觉神经元在视网膜上具有称作为“接收域( receptive field)”的接收范围这一事实。例如某些神经元只对特定角度的倾斜直线呈现兴奋状态, 旦直线的倾斜角度发生变化,兴奋也就停止,代之以别的神经元处于兴奋状态。此外,还存 在对黑白交界的轮廓线能作出反应的神经元;对以某种速度移动的直线发生兴奋的神经元和 对双眼在一特定位置受到光刺激时才能发生兴奋的神经元等。这一系列脑功能研究领域中的 开创性工作使他们在1981年获得了诺贝尔奖。此后的研究者又把研究范围扩大到侧头叶和 头顶叶的神经元。当用猴子和猩猩作实验时,又发现了对扩大、旋转、特定的动作、手或脸 等起反应的神经元。此外,在脑的局部功能学说中还认为幼儿具有认识自己祖母的所谓“祖 母细胞( grandmother cell)”,尽管这一点还没有得到最后的证实,但从脑细胞分工相当细这 点来看还是有可能的。D.Mar在1969年提出了一个小脑功能及其学习法则的小脑感知机 模型,这被认为是一个神经网络与神经生理学的事实相一致的著名例证, 在 Minsky关于感知机的悲观研究结果发表后,特别是在美国,神经网络信息处理的研 究被蒙上了阴影,大多数人都转向符号推理人工智能技术的研究,但仍有不少研究者在坚持 不懈地对神经网络进行认真、深入的研究,并逐渐积累和取得了许多有关的基本性质和知识。 日本的研究者中野,于1969年提出了一种称为 Association的联想记忆模型。在这种模 型中,事物的记忆用神经网络中的神经元兴奋状态来表示,并对比比的学习法则加以修正, 使其具有强化的学习功能并可用于记亿。该模型在记忆了多个兴奋模式以后,就具有了输入 某个兴奋模式的一部分而重现该兴奋模式全体的功能。如果一个兴奋模式是由几个记忆事项 联合构成时,它就成为一个能通过寻求各事项之间的关联而实现想起的联想记忆装置。在这 种记忆模型中,可把记忆事项看作数学中的向量,用自相关行列式来说明记忆的原理 东京大学的甘利教授从1970年起,就对神经网络的性质及其局限性作了许多理论研究
几何学性质。此外，他们还把感知机看作并行计算理论中的一个例子，即联合层的每个神经 元只对输人的提示模式的某些限定部分加以计算，然后由输出神经元加以综合并输出最终结 果。联合层各神经元的观察范围越窄，并行计算的效果就越好。Minskey 等人首先把联合层 的各神经元对输入层的观察范围看作一个直径为有限大的圆，这与高等动物的大脑中的视觉 检出神经元在视网膜上只具有一个有限的视觉范围原理极为相似。但是，由于在如何规定直 径的大小上没有明确的理论指导，所以只能作出联合层的神经元对输人层上的观察点的个数 取一个有限值这样的规定。为了研究感知机的本质，特别是神经计算的本质究竟是什么，还 对决定论中的一些代表性方法，如向量法、最短距离法、统计论中的最优法、Bayes 定理、 登山法、最急下降法等进行了比较研究，并以此来寻求它们的类同点和不同点。研究的结果 表明，有时即使是采用多层构造，也可能对识别的效果毫无帮助。对某些识别对象，即使能 分类识别，但却需要极大量的中间层神经元，以致失去了实际意义。当采用最急下降法时， 若对象的“地形”很差，则有可能无法得到最佳值，即使能得到最佳值，也可能因为所需的 学习时间太长或权系数的取值范围太宽而毫无实用价值。一般认为，由于 Minskey 的地位和 他的这一研究断定了关于感知机的研究不会再有什么大的成果，而使第一次神经网络的研究 热潮逐渐地被冷却了下来。 B．Widraw 在稍后于感知机一些时候提出了 Adline 分类学习机。它在结构上与感知机 相似，但在学习法则上采用了最小二乘平均误差法。以后，他又把这一方法用于自适应实时 处理滤波器，并得到了进一步的发展。 1961 年，E．R．Caianiello 提出了能实现记忆和识别的神经网络模型，它由学习方程式 和记忆方程式两部分组成。尽管这一研究没有超出以前的成果，也没有实际的应用例子，但 由于它在神经网络的可塑性理论方面给出了一些重要的结论而得到了高度的评价。 与上述神经网络研究相平行的是在这一段时期内，脑的生理学方面的研究也在不断地发 展。D．H．Huble 和 T．W．Wiesel 从 50 年代后半期开始对大脑视觉领域的神经元的功能 进行了一系列的研究。研究结果表明：视觉神经元在视网膜上具有称作为“接收域(receptive field)”的接收范围这一事实。例如某些神经元只对特定角度的倾斜直线呈现兴奋状态，一 旦直线的倾斜角度发生变化，兴奋也就停止，代之以别的神经元处于兴奋状态。此外，还存 在对黑白交界的轮廓线能作出反应的神经元；对以某种速度移动的直线发生兴奋的神经元和 对双眼在一特定位置受到光刺激时才能发生兴奋的神经元等。这一系列脑功能研究领域中的 开创性工作使他们在 1981 年获得了诺贝尔奖。此后的研究者又把研究范围扩大到侧头叶和 头顶叶的神经元。当用猴子和猩猩作实验时，又发现了对扩大、旋转、特定的动作、手或脸 等起反应的神经元。此外，在脑的局部功能学说中还认为幼儿具有认识自己祖母的所谓“祖 母细胞(grandmother cell)”，尽管这一点还没有得到最后的证实，但从脑细胞分工相当细这一 点来看还是有可能的。D．Marr 在 1969 年提出了一个小脑功能及其学习法则的小脑感知机 模型，这被认为是一个神经网络与神经生理学的事实相一致的著名例证。 在 Minskey 关于感知机的悲观研究结果发表后，特别是在美国，神经网络信息处理的研 究被蒙上了阴影，大多数人都转向符号推理人工智能技术的研究，但仍有不少研究者在坚持 不懈地对神经网络进行认真、深入的研究，并逐渐积累和取得了许多有关的基本性质和知识。 日本的研究者中野，于 1969 年提出了一种称为 Associatron 的联想记忆模型。在这种模 型中，事物的记忆用神经网络中的神经元兴奋状态来表示，并对比比的学习法则加以修正， 使其具有强化的学习功能并可用于记亿。该模型在记忆了多个兴奋模式以后，就具有了输入 某个兴奋模式的一部分而重现该兴奋模式全体的功能。如果一个兴奋模式是由几个记忆事项 联合构成时，它就成为一个能通过寻求各事项之间的关联而实现想起的联想记忆装置。在这 种记忆模型中，可把记忆事项看作数学中的向量，用自相关行列式来说明记忆的原理。 东京大学的甘利教授从 1970 年起，就对神经网络的性质及其局限性作了许多理论研究
并取得了相当好的成果。他的研究成果已发表在1978年出版的“神经网络的数学原理” 书中。 1972年,芬兰的T. Kohonen发表了一个与感知机等神经网络不同的线性神经网络模型 比较非线性模型而言,它的分析要容易得多。 1975年,福岛提出了一个称为Co如咖的自组织识别神经网络模型。这是一个多层构造 的神经网络,后层的神经元与被叫作接收域的前层神经元群体相连接,并具有与Hebb法则 相似的学习法则和侧抑制机能。当在该系统的第一层反复提示几个输入模式后,就会在输出 层产生对各种不同模式呈现兴奋状态的神经元。 C.V. Malsburg与D.J. Willshaw在1976年发表了“地形图”的自形成模型。简单 地说,所谓地形图是指含有信息的神经网络的连接形式。例如视网膜上的视觉细胞的排列与 受它激发而兴奋的大脑视觉域的神经元的排列是一致的,这样的构造在脑的任何部位均可见 到,由此可以证明生物体具有学习环境的构造并保持这种构造的功能。甘利对这种功能作出 了数学上的解释,并给出了形成这种排列构造所需的条件。此外, Kohonen还从信息工学的 角度解释了这种神经网络的功能,并提出了能保存抽象信息的拓扑模型 1.1.2第二次神经网络研究高潮 1982年,美国物理学家 Hopfield对神经网络的动态特性进行了研究,提出了所谓 Hopfield神经网络模型。以 Rumelhart为首的PDP( Parallel Distributed Processing)并行分布处 理研究集团对联结机制( connectionist)进行了研究。此外,T.J. Sejnowski等人还研究了神 经网络语音信息处理装置。这些成功的研究对第二次神经网络研究高潮的形成起了决定性的 作用 Hopfield模型的动作原理是,只要由神经元兴奋的算法和神经元之间的结合强度所决定 的神经网络的状态在适当给定的兴奋模式下尚未达到稳定,那么该状态就会一直变化下去 直到预先定义的一个必定减小的能量函数达到极小值时,状态才达到稳定而不再变化。如果 把这个极小值所对应的模式作为记忆模式,那么在以后,当给这个系统一个适当的刺激模式 时,它就能成为一个已经记忆了模式的一种联想记忆装置。 985年, Hopfield和D.W.Tank用上述模型求解了古典的旅行推销商问题 (Traveling Salesman problem),简称TSP问题。该问题就是在某个城市集合中找出一个最短的且经过每 个城市各一次并回到出发城市的旅行推销路径。当考虑用 Hopfield神经网络来求解时,首 先需要构造一个包括距离变量在内的能量函数,并求其极小值。即在神经网络上输入适当的 初始兴奋模式,求神经网络的结合强度。当能量变化并收束到最小值时,该神经网络的状态 就是所希望的解,求解的结果通常是比较满意的。 1983年,S.E. Farman和 Hiton提出了波尔兹曼机BM( Boltzmann machine),该神经 网络模型中使用了概率动作的神经元,把神经元的输出函数与统计力学中的波尔兹曼分布联 系起来。例如当神经网络中某个与温度对应的参数发生变化时,神经网络的兴奋模式也会象 热运动那样发生变化。当温度逐渐下降时,由决定函数判断神经元是否处于兴奋状态。在从 高温到低温的退火( annealing)中,能量并不会停留在局部极小值上,而以最大的概率到达全 局最小值 1985年,W.O. Hillis发表了称为联结机( connection的超级并行计算机。他把65536 个bit的微处理机排列成起立方体的互连形式,每个微处理机还带有4kbit的存贮器。这种 联结机虽然与神经计算不同,但从高度并行这一点来看却是相似的,均突破了冯,诺依曼计 算机的格局。PDP有时也被叫作联结机制,实际上这种机制最适合于用来模拟神经网络。 误差反向传播神经网络BP( Error Back Propagation Neural Network)是1986年由 Rumelhart和 Hinton提出的,它是一种能向着满足给定的输入输出关系方向进行自组织的神
并取得了相当好的成果。他的研究成果已发表在 1978 年出版的“神经网络的数学原理”一 书中。 1972 年，芬兰的 T．Kohonen 发表了一个与感知机等神经网络不同的线性神经网络模型。 比较非线性模型而言，它的分析要容易得多。 1975 年，福岛提出了一个称为 Co 如咖的自组织识别神经网络模型。这是一个多层构造 的神经网络，后层的神经元与被叫作接收域的前层神经元群体相连接，并具有与 Hebb 法则 相似的学习法则和侧抑制机能。当在该系统的第一层反复提示几个输入模式后，就会在输出 层产生对各种不同模式呈现兴奋状态的神经元。 C．V．Malsburg 与 D．J．Willshaw 在 1976 年发表了“地形图”的自形成模型。简单 地说，所谓地形图是指含有信息的神经网络的连接形式。例如视网膜上的视觉细胞的排列与 受它激发而兴奋的大脑视觉域的神经元的排列是一致的，这样的构造在脑的任何部位均可见 到，由此可以证明生物体具有学习环境的构造并保持这种构造的功能。甘利对这种功能作出 了数学上的解释，并给出了形成这种排列构造所需的条件。此外，Kohonen 还从信息工学的 角度解释了这种神经网络的功能，并提出了能保存抽象信息的拓扑模型。 1．1．2 第二次神经网络研究高潮 1982 年，美国物理学家 Hopfield 对神经网络的动态特性进行了研究，提出了所谓 Hopfield 神经网络模型。以 Rumelhart 为首的 PDP(Parallel Distributed Processing)并行分布处 理研究集团对联结机制(connectionist)进行了研究。此外，T．J．Sejnowski 等人还研究了神 经网络语音信息处理装置。这些成功的研究对第二次神经网络研究高潮的形成起了决定性的 作用。 Hopfield 模型的动作原理是，只要由神经元兴奋的算法和神经元之间的结合强度所决定 的神经网络的状态在适当给定的兴奋模式下尚未达到稳定，那么该状态就会一直变化下去， 直到预先定义的一个必定减小的能量函数达到极小值时，状态才达到稳定而不再变化。如果 把这个极小值所对应的模式作为记忆模式，那么在以后，当给这个系统一个适当的刺激模式 时，它就能成为一个已经记忆了模式的一种联想记忆装置。 1985 年，Hopfield 和 D．W．Tank 用上述模型求解了古典的旅行推销商问题(Traveling Salesman Problem)，简称 TSP 问题。该问题就是在某个城市集合中找出一个最短的且经过每 个城市各一次并回到出发城市的旅行推销路径。当考虑用 Hopfield 神经网络来求解时，首 先需要构造一个包括距离变量在内的能量函数，并求其极小值。即在神经网络上输入适当的 初始兴奋模式，求神经网络的结合强度。当能量变化并收束到最小值时，该神经网络的状态 就是所希望的解，求解的结果通常是比较满意的。 1983 年，S．E．Farmann 和 Hiton 提出了波尔兹曼机 BM(Boltzmann Machine)，该神经 网络模型中使用了概率动作的神经元，把神经元的输出函数与统计力学中的波尔兹曼分布联 系起来。例如当神经网络中某个与温度对应的参数发生变化时，神经网络的兴奋模式也会象 热运动那样发生变化。当温度逐渐下降时，由决定函数判断神经元是否处于兴奋状态。在从 高温到低温的退火(annealing)中，能量并不会停留在局部极小值上，而以最大的概率到达全 局最小值。 1985 年，W．O．Hillis 发表了称为联结机(connection)的超级并行计算机。他把 65536 个 lbit 的微处理机排列成起立方体的互连形式，每个微处理机还带有 4kbit 的存贮器。这种 联结机虽然与神经计算不同，但从高度并行这一点来看却是相似的，均突破了冯，诺依曼计 算机的格局。PDP 有时也被叫作联结机制，实际上这种机制最适合于用来模拟神经网络。 误差反向传播神经网络 BP(Error Back Propagation Neural Network) 是 1986 年由 Rumelhart 和 Hinton 提出的，它是一种能向着满足给定的输入输出关系方向进行自组织的神