第三讲神经元与网络结构 3.1生物神经元及生物神经网络 3.1.1生物神经元 人脑大约由102个神经元组成,而其中的每个神经元又与约102~104个其他 神经元相连接,如此构成一个庞大而复杂的神经元网络 神经元是大脑处理信息的基本单元,它的结构如图3-1所示。它是以细胞 体为主体,由许多向周围延伸的不规则树枝状纤维构成的神经细胞,其形状很像 一棵枯树的枝干。它主要由细胞体、树突、轴突和突触( Synapse,又称神经键) 组成 来自其他神经元轴突神经末梢 b突触 突触 细胞体 轴突 细胞核 神经末梢 入 树突 图3-1生物神经元示意图 细胞体由细胞核、细胞质和细胞膜组成。细胞体是神经元新陈代谢的中心, 还是接受与处理信息的部件。树突是细胞体向外延伸树枝状的纤维体,它是神经 元的输入通道,接受来自其他神经元的信息。轴突是细胞体向处延伸的最长、最 粗的一条树枝纤维体,即神经纤维,其长度从几个微米到1m左右。它是神经元 的输出通道。轴突末端也有许多向外延伸的树枝状纤维体,称为神经末梢,它是 神经元信息的输出端,用于输出神经元的动作脉冲。轴突有两种结构形式:髓鞘 纤维和无髓鞘纤维,两者传递信息的速度不同,前者约为后者的10倍。一个神
1 第三讲 神经元与网络结构 3．1 生物神经元及生物神经网络 3．1．1 生物神经元 人脑大约由 1012 个神经元组成，而其中的每个神经元又与约 102～104 个其他 神经元相连接，如此构成一个庞大而复杂的神经元网络。 神经元是大脑处理信息的基本单元，它的结构如图 3—1 所示。它是以细胞 体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像 一棵枯树的枝干。它主要由细胞体、树突、轴突和突触(Synapse，又称神经键) 组成。 图 3－1 生物神经元示意图 细胞体由细胞核、细胞质和细胞膜组成。细胞体是神经元新陈代谢的中心， 还是接受与处理信息的部件。树突是细胞体向外延伸树枝状的纤维体，它是神经 元的输入通道，接受来自其他神经元的信息。轴突是细胞体向处延伸的最长、最 粗的一条树枝纤维体，即神经纤维，其长度从几个微米到 1m 左右。它是神经元 的输出通道。轴突末端也有许多向外延伸的树枝状纤维体，称为神经末梢，它是 神经元信息的输出端，用于输出神经元的动作脉冲。轴突有两种结构形式：髓鞘 纤维和无髓鞘纤维，两者传递信息的速度不同，前者约为后者的 10 倍。一个神
经元的神经末梢与另一神经元树突或细胞体的接触处称为突触,它是神经元之问 传递信息的输入输出接口。每个神经元约有103~104个突触 从神经元各组成部分的功能来看,信息的处理与传递主要发生在突触附近 当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度,即超过其阈值 电位后,突触前膜将向突触间隙释放神经传递的化学物质(乙酰胆碱)。由于这种 化学物质的扩散,使位于突触后膜的离子通道( Ion channel)开放,产生离子流, 从而在突触后膜产生正的或负的电位,称为突触后电位。突触有两种:兴奋性突 触和抑制性突触。前者产生正突触后电位,后者产生负突触后电位。一个神经元 的各树突和细胞体往往通过突触和大量的其他神经元相连接。这些突触后电位的 变化,将对该神经元产生综合作用,即当这些突触后电位的总和超过某一阎值时, 该神经元便被激活,并产生脉冲,而且产生的脉冲数与该电位总和值的大小有关。 脉冲沿轴突向其他神经元传送,从而实现了神经元之间信息的传递。突触传递信 息有一定的延迟时间,对于温血动物一般为0.3-1ms 当一个神经元突触前传来一串脉冲时,突触后电位的变化是其中诸单脉冲冲 动效应的累加,即时间上的累加。而该神经元与其他很多神经元相连接的突触前 同时传来的脉冲也能引起该突触后电位的变化,即空间上的累加。时间累加和空 间累加都会对突触后电位产生影响 最后,将突触传递信息的功能和特点归纳为: (1)信息传递有时延,一般为03~lms。 (2)信息的综合有时间累加和空间累加 (3)突触有兴奋性和抑制性两种类型。 (4)具有脉冲/电位信号转换功能。沿神经纤维传递的电脉冲为等幅(约 60-100mV)、恒宽、编码的离散信号,而细胞膜电位的变化为连续 的模拟量。由此可见突触有数/模转换功能。这种转换是通过神经介 质以量子化学的方式实现的。 (5)神经纤维传导的速度,即脉冲沿神经纤维传递的速度,在1-150m /s之间,它随纤维的粗细以及髓鞘的有无而不同。有髓鞘的粗纤维, 其传递速度在100m/s以上;无髓朗的纫纤维,其传递速度可低至 每秒数米
2 经元的神经末梢与另一神经元树突或细胞体的接触处称为突触，它是神经元之问 传递信息的输入输出接口。每个神经元约有 103～104 个突触。 从神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近。 当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值 电位后，突触前膜将向突触间隙释放神经传递的化学物质(乙酰胆碱)。由于这种 化学物质的扩散，使位于突触后膜的离子通道(Ion Channel)开放，产生离子流， 从而在突触后膜产生正的或负的电位，称为突触后电位。突触有两种：兴奋性突 触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位。一个神经元 的各树突和细胞体往往通过突触和大量的其他神经元相连接。这些突触后电位的 变化，将对该神经元产生综合作用，即当这些突触后电位的总和超过某一阎值时， 该神经元便被激活，并产生脉冲，而且产生的脉冲数与该电位总和值的大小有关。 脉冲沿轴突向其他神经元传送，从而实现了神经元之间信息的传递。突触传递信 息有一定的延迟时间，对于温血动物一般为 0．3—1ms。 当一个神经元突触前传来一串脉冲时，突触后电位的变化是其中诸单脉冲冲 动效应的累加，即时间上的累加。而该神经元与其他很多神经元相连接的突触前 同时传来的脉冲也能引起该突触后电位的变化，即空间上的累加。时间累加和空 间累加都会对突触后电位产生影响。 最后，将突触传递信息的功能和特点归纳为： (1) 信息传递有时延，一般为 0.3～lms。 (2) 信息的综合有时间累加和空间累加。 (3) 突触有兴奋性和抑制性两种类型。 (4) 具有脉冲／电位信号转换功能。沿神经纤维传递的电脉冲为等幅(约 60—100mV)、恒宽、编码的离散信号，而细胞膜电位的变化为连续 的模拟量。由此可见突触有数／模转换功能。这种转换是通过神经介 质以量子化学的方式实现的。 (5) 神经纤维传导的速度，即脉冲沿神经纤维传递的速度，在 1—150m ／s 之间，它随纤维的粗细以及髓鞘的有无而不同。有髓鞘的粗纤维， 其传递速度在 100m／s 以上；无髓朗的纫纤维，其传递速度可低至 每秒数米
(6)存在不应期。在两个相邻脉冲之间,神经元的阈值电位突然升高,阻 止下一个脉冲的通过,这段时间称为不应期,约3-5ms。在此期间, 对激励不响应,不能传递脉冲。 (7)不可逆性,脉冲只从突触前传到突触后,不逆向传递。 (8)可塑性,突触传递信息的强度是可变的,即具有学习功能。可塑性是 学习和记忆的基础。 (9)存在遗忘或疲劳效应。 3.1.2人脑神经网络系统 生物神经网络是由很多神经元相互连接的,神经网络系统是一个极为庞大则 错综复杂的系统。每个神经元虽然都十分简单,但是,如此大量神经元之间非常 复杂的连接却可以演化出丰富多彩的行为方式。同时,如此大量神经元与外部感 受器之间的多种多样的连接方式也蕴含了变化莫测的反应方式。总之,连接方式 的多样化导致了行为方式的多样化。 脑神经系统的主要组成部分如图3-2所示。人脑具有阶层结构,其中最复 杂的部分是处于大脑最外层的大脑皮层。在大脑皮层中密布着由大量神经元构成 的神经网络,这就使它具有高度的分析相综合能力。它是人脑思维活动的物质基 础,是脑神经系统的核心部分。 //木(大脑皮层 大脑基核 小脑 间脑 中枢神经系统 趣天中脑 脑桥 脑神经系统 延髓 脊髓 体性神经系统/感觉神经 运动神经 末梢神经系统 自律神经系鸵/交感神经 副交感神经
3 (6) 存在不应期。在两个相邻脉冲之间，神经元的阈值电位突然升高，阻 止下一个脉冲的通过，这段时间称为不应期，约 3—5ms。在此期间， 对激励不响应，不能传递脉冲。 (7) 不可逆性，脉冲只从突触前传到突触后，不逆向传递。 (8) 可塑性，突触传递信息的强度是可变的，即具有学习功能。可塑性是 学习和记忆的基础。 (9) 存在遗忘或疲劳效应。 3．1．2 人脑神经网络系统 生物神经网络是由很多神经元相互连接的，神经网络系统是一个极为庞大则 错综复杂的系统。每个神经元虽然都十分简单，但是，如此大量神经元之间非常 复杂的连接却可以演化出丰富多彩的行为方式。同时，如此大量神经元与外部感 受器之间的多种多样的连接方式也蕴含了变化莫测的反应方式。总之，连接方式 的多样化导致了行为方式的多样化。 脑神经系统的主要组成部分如图 3—2 所示。人脑具有阶层结构，其中最复 杂的部分是处于大脑最外层的大脑皮层。在大脑皮层中密布着由大量神经元构成 的神经网络，这就使它具有高度的分析相综合能力。它是人脑思维活动的物质基 础，是脑神经系统的核心部分
图3-2脑神经系统的主要组成部分 人们通过长期的研究,进一步探明了大脑皮层是由许多不同的功能区构成 的。例如,有的区专门负责运动控制,有的区专门负责听觉,有的区专门负责视 觉等。在每个功能区中,又包含许多负责某一具体功能的神经元群。例如,在视 觉神经区,存在着只对光线方向性产生反应的神经元。更进一步细分,某一层神 经元仅对水平光线产生响应,而另一层神经元只对垂直光线产生反应。需要特别 指出的是,大脑皮层的这种区域性结构,虽然是由人的遗传特性所决定的,是先 天性的,但各区域所具有的功能大部分是人在后天通过对环境的适应和学习而得 来的。神经元的这种特性称为自组织(Self- Organization)特性。所谓自组织,即 神经元的学习过程,完全是一种自我学习的过程,不存在外部教师的示教。还应 指出,神经元的这种自组织特性来自于神经网络结构的可塑性,即神经元之间相 互连接的突触随着动作电位脉冲激励方式与强度的变化,其传递电位的作用可增 加或减弱,神经元之间的突触连接是柔性的、可塑的。 还应指出,功能的分区定位并不是机械的一对一关系。许多功能,特别是高 级思维功能,通常都可以分为若干子功能块,这些子功能块存在并行关系。对于 个特定功能的神经加工往往是在大脑皮层的许多部位分布式进行的。正因为如 此,某一部位的损伤才不至于导致整个功能的丧失 3.1.3人脑神经网络信息处理的特点 人的大脑是一个神秘而复杂的世界,人们通过长期的研究与探索,已能从神 经细胞结构及神经网络组成的水平上初步探明大脑的组织特征,并通过生理实验 证明了许多大脑的认知机理。但是,到目前为止,人们还不能完全解释大脑的思 维、意识和精神活动 大脑的思维过程实质上是一种信息处理过程。大脑神经网络系统是大脑信息 处理的主体。这种信息处理过程是十分复杂而多样化的,很难给出精确的描述。 不过,基于对大脑组织特征的认识及一些生理实验,可以归纳出如下一些大脑神 经网络处理信息的特点 1.分布存储与冗余性信息在神经网络中的存储是分布于大量的神经元之 中,即一个事物的信息不只是对应于一个神经元的状态进行记忆,而是分散到很
4 图 3—2 脑神经系统的主要组成部分 人们通过长期的研究，进一步探明了大脑皮层是由许多不同的功能区构成 的。例如，有的区专门负责运动控制，有的区专门负责听觉，有的区专门负责视 觉等。在每个功能区中，又包含许多负责某一具体功能的神经元群。例如，在视 觉神经区，存在着只对光线方向性产生反应的神经元。更进一步细分，某一层神 经元仅对水平光线产生响应，而另一层神经元只对垂直光线产生反应。需要特别 指出的是，大脑皮层的这种区域性结构，虽然是由人的遗传特性所决定的，是先 天性的，但各区域所具有的功能大部分是人在后天通过对环境的适应和学习而得 来的。神经元的这种特性称为自组织(Self—Organization)特性。所谓自组织，即 神经元的学习过程，完全是一种自我学习的过程，不存在外部教师的示教。还应 指出，神经元的这种自组织特性来自于神经网络结构的可塑性，即神经元之间相 互连接的突触随着动作电位脉冲激励方式与强度的变化，其传递电位的作用可增 加或减弱，神经元之间的突触连接是柔性的、可塑的。 还应指出，功能的分区定位并不是机械的一对一关系。许多功能，特别是高 级思维功能，通常都可以分为若干子功能块，这些子功能块存在并行关系。对于 一个特定功能的神经加工往往是在大脑皮层的许多部位分布式进行的。正因为如 此，某一部位的损伤才不至于导致整个功能的丧失。 3．1．3 人脑神经网络信息处理的特点 人的大脑是一个神秘而复杂的世界，人们通过长期的研究与探索，已能从神 经细胞结构及神经网络组成的水平上初步探明大脑的组织特征，并通过生理实验 证明了许多大脑的认知机理。但是，到目前为止，人们还不能完全解释大脑的思 维、意识和精神活动。 大脑的思维过程实质上是一种信息处理过程。大脑神经网络系统是大脑信息 处理的主体。这种信息处理过程是十分复杂而多样化的，很难给出精确的描述。 不过，基于对大脑组织特征的认识及一些生理实验，可以归纳出如下一些大脑神 经网络处理信息的特点： 1．分布存储与冗余性 信息在神经网络中的存储是分布于大量的神经元之 中，即一个事物的信息不只是对应于一个神经元的状态进行记忆，而是分散到很
多神经元中进行记忆。而且每个神经元实际上存储着多种不同信息的部分内容。 在分布存储的内容中,有许多是完成同一功能的,即网络具有冗余性。网络的冗 余性导致网络的存储具有容错性,即其中某些神经元受到损伤或死亡时,仍不致 于丢失其记忆的信息。信息在神经网络中的记忆,主要反映在神经元之间的突触 连接强度上。 2.并行处理神经元响应的速度为毫秒级,比一般电子开关器件要慢几个 数量级,而且每个神经元的处理功能也很有限。然而,大脑神经网络系统对于处 理以求得问题满意解为目标的决策任务(如视觉、运动控制等)却显得非常迅速 相反、冯·诺依曼计算机却在这方面显得非常迟钝和笨拙。显然,前者速度快是 由成亿个神经元协同工作并行处理的结果。 神经网络并行处理的含义不同于目前的并行处理机,它不是简单地“以空间 的复杂性为代价来求得时间上的快速性”,而是反映了根本不同的操作机理。神 经网络既是处理器,又是存储器 3.信息处理与存储合一人们从未发现大脑皮层中记忆和处理分别属于不 同区域的情况,这是因为每个神经元都兼有信息处理和存储的功能。神经元之间 突触连接强度的变化既反映了神经元对激励的响应,即信息处理过程,同时其响 应结果又反映了信息的记忆。这种合二为一的优点是同时有大量相关知识参与信 息过程,这对于提高网络信息处理的速度和智能是至关重要的。与此不同,目前 股计算机的存储和处理是分别属于两个独立的部件,存储器的作用只不过是 个知识库,这就是说,任一时刻都只有极少量的知识被取来参与处理,大部分知 识却处于休闲无用状态。 4.可塑性与自组织性在大脑中,神经元之间的突触连接,虽然其基本部 分是先天就有的,即由遗传所决定的,但是大脑皮层的大部分突触连接是后天由 环境的激励逐步形成的。它随着环境刺激性质的不同而不同。能形成和改变神经 元之间突触连接的现象称为可塑性。大脑的记忆也是由环境的刺激在神经元之间 形成新的突触连接,或者使原来就有的突触连接加强而形成的。还有,由于环境 的刺激,形成和调整神经元之间的突触连接,并逐渐构成神经网络的现象,称为 神经系统的自组织性。由此可见,可塑性是学习和记忆的基础 5.鲁棒性网络的髙连接度意味着一定的误差和噪声不会使网络的性能恶
5 多神经元中进行记忆。而且每个神经元实际上存储着多种不同信息的部分内容。 在分布存储的内容中，有许多是完成同一功能的，即网络具有冗余性。网络的冗 余性导致网络的存储具有容错性，即其中某些神经元受到损伤或死亡时，仍不致 于丢失其记忆的信息。信息在神经网络中的记忆，主要反映在神经元之间的突触 连接强度上。 2．并行处理 神经元响应的速度为毫秒级，比一般电子开关器件要慢几个 数量级，而且每个神经元的处理功能也很有限。然而，大脑神经网络系统对于处 理以求得问题满意解为目标的决策任务(如视觉、运动控制等)却显得非常迅速。 相反、冯·诺依曼计算机却在这方面显得非常迟钝和笨拙。显然，前者速度快是 由成亿个神经元协同工作并行处理的结果。 神经网络并行处理的含义不同于目前的并行处理机，它不是简单地“以空间 的复杂性为代价来求得时间上的快速性”，而是反映了根本不同的操作机理。神 经网络既是处理器，又是存储器。 3．信息处理与存储合一 人们从未发现大脑皮层中记忆和处理分别属于不 同区域的情况，这是因为每个神经元都兼有信息处理和存储的功能。神经元之间 突触连接强度的变化既反映了神经元对激励的响应，即信息处理过程，同时其响 应结果又反映了信息的记忆。这种合二为一的优点是同时有大量相关知识参与信 息过程，这对于提高网络信息处理的速度和智能是至关重要的。与此不同，目前 一股计算机的存储和处理是分别属于两个独立的部件，存储器的作用只不过是一 个知识库，这就是说，任一时刻都只有极少量的知识被取来参与处理，大部分知 识却处于休闲无用状态。 4．可塑性与自组织性 在大脑中，神经元之间的突触连接，虽然其基本部 分是先天就有的，即由遗传所决定的，但是大脑皮层的大部分突触连接是后天由 环境的激励逐步形成的。它随着环境刺激性质的不同而不同。能形成和改变神经 元之间突触连接的现象称为可塑性。大脑的记忆也是由环境的刺激在神经元之间 形成新的突触连接，或者使原来就有的突触连接加强而形成的。还有，由于环境 的刺激，形成和调整神经元之间的突触连接，并逐渐构成神经网络的现象，称为 神经系统的自组织性。由此可见，可塑性是学习和记忆的基础。 5．鲁棒性 网络的高连接度意味着一定的误差和噪声不会使网络的性能恶