第01讲绪论 电信系邹江
第01讲 绪论 电信系 邹 江
以冯·诺依曼型计算机为中心的信息处理技 术的高速发展,使得计算机在当今的信息化社 会中起着十分重要的作用。但是,当用它来解 决某些人工智能问题时却遇到了很大的困难 大脑是由生物神经元构成的巨型网络,它在 本质上不同于计算机,是一种大规模的并行处 理系统,它具有学习、联想记忆、综合等能力, 并有巧妙的信息处理方法。 人工神经网络(简称神经网络)是由大量的、 功能比较简单的形式神经元互相连接而构成的 复杂网络系统,用它可以模拟大脑的许多基本 功能和简单的思维方式
以冯·诺依曼型计算机为中心的信息处理技 术的高速发展，使得计算机在当今的信息化社 会中起着十分重要的作用。但是，当用它来解 决某些人工智能问题时却遇到了很大的困难。 大脑是由生物神经元构成的巨型网络，它在 本质上不同于计算机，是一种大规模的并行处 理系统，它具有学习、联想记忆、综合等能力， 并有巧妙的信息处理方法。 人工神经网络(简称神经网络)也是由大量的、 功能比较简单的形式神经元互相连接而构成的 复杂网络系统，用它可以模拟大脑的许多基本 功能和简单的思维方式
1.1神经网络的研究发展史 1.1.1第一次神经网络研究高潮 对大脑神经元的研究表明,当其处于兴奋状态时, 输出侧的轴突就会发出脉冲信号,每个神经元的树状 突起与来自其它神经元轴突的互相结合部(此结合部称 为 Synapse,即突触)接收由轴突传来的信号。如果—神 经元所接收到的信号的总和超过了它本身的“阈值”, 则该神经元就会处于兴奋状态,并向它后续连接的神 经元发出脉冲信号
1．1 神经网络的研究发展史 1．1．1 第一次神经网络研究高潮 对大脑神经元的研究表明，当其处于兴奋状态时， 输出侧的轴突就会发出脉冲信号，每个神经元的树状 突起与来自其它神经元轴突的互相结合部(此结合部称 为Synapse，即突触)接收由轴突传来的信号。如果—神 经元所接收到的信号的总和超过了它本身的“阈值” ， 则该神经元就会处于兴奋状态，并向它后续连接的神 经元发出脉冲信号
1943年,W.S. McCulloch和W.Pitt根据上述 研究发表了他们的神经元模型,通常称为MP 模型。 1949年,D.0.Hebb提出了神经元的学习法则,即 Hebb法则。 50年代末,F. Rosenblat于上述原理提出了 种模式识别机,即感知机( Perceptron)模型 感知机是现代神经计算的出发点。 Block于 1962年用解析法证明了感知机的学习收敛定理 正是由于这一定理的存在,才使得感知机的理 论具有实际的意义,并引发了60年代以感知机 为代表的第一次神经网络研究发展的高潮
1943年，W．S．McCulloch和W．Pitts根据上述 研究发表了他们的神经元模型，通常称为MP 模型。 1949年，D.O.Hebb提出了神经元的学习法则，即 Hebb法则。 50年代末，F．Rosenblatt基于上述原理提出了一 种模式识别机，即感知机(Perceptron)模型。 感知机是现代神经计算的出发点。Block于 1962年用解析法证明了感知机的学习收敛定理。 正是由于这一定理的存在，才使得感知机的理 论具有实际的意义，并引发了60年代以感知机 为代表的第一次神经网络研究发展的高潮
M. Minsky和 S Papert进一步发展了感知机的理论,他们 把感知机定义为一种逻辑函数的学习机。 B. Widraw在稍后于感知机一些时候提出了 Adline分类学 习机。它在结构上与感知机相似,但在学习法则上采 用了最小二乘平均误差法。 1961年,E.R. Caianiello提出了能实现记忆和识别的神 经网络模型,它由学习方程式和记忆方程式两部分组 成 遗憾的是感知机只能对线性可分离的模式进行正确的分 类。当输入模式是线性不可分离时,则无论怎样调节 突触的结合强度和阂值的大小也不可能对输入进行正 确的分类
M．Minsky和S.Papert进一步发展了感知机的理论，他们 把感知机定义为一种逻辑函数的学习机。 B．Widraw在稍后于感知机一些时候提出了Adline分类学 习机。它在结构上与感知机相似，但在学习法则上采 用了最小二乘平均误差法。 1961年，E．R．Caianiello提出了能实现记忆和识别的神 经网络模型，它由学习方程式和记忆方程式两部分组 成。 遗憾的是感知机只能对线性可分离的模式进行正确的分 类。当输入模式是线性不可分离时，则无论怎样调节 突触的结合强度和阂值的大小也不可能对输入进行正 确的分类