1949年，心理学家Hebb实现了对脑细胞之间相互影响的 数学描述，从心理学的角度提出了至今仍对神经网络理论有着 重要影响的Hebb学习法则。 1958年，E.Rosenblatt提出了描述信息在人脑中贮存和记 忆的数学模型，即著名的感知机模型(Perceptron)
1962年，Widrow和Hoff提出了自适应线性神经网络，即 Adaline网络，并提出了网络学习新知识的方法，即Vidrowi和 Hof学习规则（即δ学习规则），并用电路进行了硬件设计。 2低潮期（1969-1982) 受当时神经网络理论研究水平的限制及冯·诺依曼式计算 机发展的冲击等因素的影响，神经网络的研究陷入低谷
在美、日等国有少数学者继续着神经网络模型和学习算 法的研究，提出了许多有意义的理论和方法。例如，1969年 ,S.Groisbergi和A.Carpentet提出了至今为止最复杂的ART网 络，该网络可以对任意复杂的二维模式进行自组织、自稳定 和大规模并行处理。1972年，Kohonen提出了自组织映射的 SOM模型。 3复兴期(1982-1986)
1982年，物理学家Hoppield提出了Hoppield神经网络模型 ,该模型通过引入能量函数，实现了问题优化求解，1984年他 用此模型成功地解决了旅行商路径优化问题(TSP)。 在1986年，在Rumelhart和McCelland等出版《Parallel Distributed Processing》一书，提出了一种著名的多层神经网络 模型，即BP网络。该网络是迄今为止应用最普遍的神经网络
4新连接机制时期（1986-现在) 神经网络从理论走向应用领域，出现了神经网络芯片和 神经计算机。 神经网络主要应用领域有：模式识别与图象处理（语音 、指纹、故障检测和图象压缩等)、控制与优化、预测与管 理（市场预测、风险分析）、通信等