/986 机器学习的发展 ·机器学习的理论基础发展 ■1950s:神经科学的理论基础 ,Jamesi关于神经元是相互连接的发现 >,McCullon&Pitts的神经元模型 ,Hebb学习律（相互连接强弱度的变换规则） 42
机器学习的发展 ◼ 机器学习的理论基础发展 ◼ 1950s：神经科学的理论基础 ➢ James关于神经元是相互连接的发现 ➢ McCullon & Pitts的神经元模型 ➢ Hebb 学习律（相互连接强弱度的变换规则） 42
/986 机器学习的发展 机器学习的理论基础发展 ■1050c·: 抽经型学的甲论基础 生物神经元与MP模型 连接的发现 生物神经元神经元 输入信号权值 输出总和 膜电位 阀值 MP模型 元模型 X w oj ∑ ∑1wX() T 强弱度的变换规则) Biological Neuron 1943年，基于生物神经网络的麦卡洛克-皮茨神经元模型 (cCulloch一Pitts'neuron model)诞生。 Artificial Neuron McCulloch-Pitts模型公式如下： Wa sum=Wi×1+W1z×++W1wXw X2 W W位 o,t+1)=f[∑0x-T) i=1 43
机器学习的发展 ◼ 机器学习的理论基础发展 ◼ 1950s：神经科学的理论基础 ➢ James关于神经元是相互连接的发现 ➢ McCullon & Pitts的神经元模型 ➢ Hebb 学习律（相互连接强弱度的变换规则） 43 1943年，基于生物神经网络的麦卡洛克-皮茨神经元模型 （McCulloch－Pitts′ neuron model）诞生
/986 机器学习的发展 机器学习的理论基础发展 ■1950s:神经科学的理论基础 ,Jamesi关于神经元是相互连接的发现 ,McCullon&Pitts的神经元模型 ~Hbb学习律（相互连接强弱度的变换规则） 1949年加拿大心理学家唐纳德·赫布(Donald Hebb)在出版的《行为的 组织》一书中提出了其神经心理学理论，他认为知识和学习发生在大脑主 要是通过神经元间突触的形成与变化，这个出人意料并影响深远的想法简 称“赫布法则”：当细胞A的轴突足以接近以激发细胞B,并反复持续地 对细胞B放电，一些生长过程或代谢变化将发生在某一个或这两个细胞内 ,以致A作为对B放电的细胞中的一个效率增加。 44
机器学习的发展 ◼ 机器学习的理论基础发展 ◼ 1950s：神经科学的理论基础 ➢ James关于神经元是相互连接的发现 ➢ McCullon & Pitts的神经元模型 ➢ Hebb 学习律（相互连接强弱度的变换规则） 44 1949年加拿大心理学家唐纳德·赫布(Donald Hebb)在出版的《行为的 组织》一书中提出了其神经心理学理论，他认为知识和学习发生在大脑主 要是通过神经元间突触的形成与变化，这个出人意料并影响深远的想法简 称“赫布法则”：当细胞A的轴突足以接近以激发细胞B，并反复持续地 对细胞B放电，一些生长过程或代谢变化将发生在某一个或这两个细胞内 ，以致A作为对B放电的细胞中的一个效率增加
/986 机器学习的发展 机器学习 Perceptron(I957) ■ 1960s: >1957年 学习算 实现线 Frank Rosenblatt (1928-197) Original Perceptron W1 (From Perceptrons by M.L Minsky and S.Papert. 1969.Cambridge,MA:MIT Press.Copyright 1969 by MITPress. W2 Simplified model: W3 感知器是整个神经网络的基础，神经元通过响应 函数确定输出，神经元之间通过权值进行传递信息 ,权重的确定根据误差来进行调节，这就是学习的 过程。这个方法的前提是整个网络是收敛的。 45
机器学习的发展 ◼ 机器学习的理论基础发展 ◼ 1960s：感知器（Perceptron）时代 ➢ 1957年Rosenblatt首次提出 ➢ 学习算法：梯度下降 ➢ 实现线性分类 45 感知器是整个神经网络的基础，神经元通过响应 函数确定输出，神经元之间通过权值进行传递信息 ，权重的确定根据误差来进行调节，这就是学习的 过程。这个方法的前提是整个网络是收敛的
/986 机器学习的发展 机器学习的理论基础发展 1960s:感知器(Perceptron) 时代 >,1957年Rosenblatt首次提出 学习算法：梯度下降 ，实现线性分类 罗森布拉特在一台BM-704计算机上模拟实 现了“感知器”神经网络模型。感知器占据了整 个实验室，它包括三层结构，运作机制并不复杂 。感知器的一端，400个光传感器模拟视网膜； 传感器多次连接一组512个电子触发器，当它通 过一个特定的可调节的兴奋阀值时就会像神经元 一样激发。这些触发器连接到最后一层，当一个 物体与感知器受训见过的对象相互匹配时，它就 会发出信号。这个模型可以完成一些简单的视觉 处理任务。 46
机器学习的发展 ◼ 机器学习的理论基础发展 ◼ 1960s：感知器（Perceptron）时代 ➢ 1957年Rosenblatt首次提出 ➢ 学习算法：梯度下降 ➢ 实现线性分类 46 罗森布拉特在一台IBM-704计算机上模拟实 现了“感知器”神经网络模型。感知器占据了整 个实验室，它包括三层结构，运作机制并不复杂 。感知器的一端，400个光传感器模拟视网膜； 传感器多次连接一组512个电子触发器，当它通 过一个特定的可调节的兴奋阀值时就会像神经元 一样激发。这些触发器连接到最后一层，当一个 物体与感知器受训见过的对象相互匹配时，它就 会发出信号。这个模型可以完成一些简单的视觉 处理任务