Neural Networks,21 第三幸神再丰 然反馈的确切作用还不为人所知,但从已发表的一些研究可以 看出它们无处不在。因此我感到反馈是至关重要的。 第三个标准就是任何大脑模型或理论都应该能够解释大脑 的物理结构。新大脑皮层并不是一个简单的构造,正如大家将 要读到的,它是由一个不断重复的层级结构组成,任何神经网 络如果对这一结构认识不足的话,就无法像大脑一样工作。 然而,让人感到遗憾的是,神经网络现象一经登台亮相, 就固定在一些极为简单的模型之上,而这些模型与上面提到的 三个标准不相吻合。绝大多数神经网络都包含少量相互连接的 神经元,它们排成三列。当一种模式(输入)显示在第一列上, 这些输入神经元就会与下一列神经元相连接,形成所谓的“隐 藏单元”;接下来,隐藏单元就会与最后一列神经元连接,即 输出神经元。这些神经元之间的连接强度不同,也就是说, 个神经元上的活动可能会促进第二个神经元的活动或者削弱第 个神经元的活动,具体情况视其连接强度而定。通过这些强 度的改变,网络就能学会将输入方式映射到输出方式上。 这些简单的神经网络只能处理静止不动的模式,没有涉及反 馈,和大脑也没有任何相似之处。有一种最普通的神经网络,被 称为“反向传播( back propagation)”网络,可以学会将输出单元 的错误传输回输入单元,并将它记住。你可能认为这是一种反 馈,而事实并非如此。这种错误的反向传播只会发生在学习过程 中,而当经过训练的神经网络工作正常时,信息只会向一个方向 传输,从输出到输入没有产生反馈。除此之外,这些模型没有时 间概念。当一种静止的输入形式转化成静止的输出形式,另一种 输人形式就会显现出来。这个过程,哪怕是刚刚发生的,在网络
22\ On Intelligence 酬率瘤能的未来 中都不会留下任何记录。最后,与大脑的复杂及其层级结构相比, 这种神经网络的构造就显得太微不足道了。 我本以为这个领域会迅速地向更仿真的网络发展,但它没 有。因为这些简单的神经网络可以完成一些有趣的任务,因而 在以后的几年中一直停滞不前。正是出现了这种全新的有趣工 具,一夜之间,上千的科学家、工程师和学生凭借它获得了助 学金、博士学位或发表了著作;一个个公司纷纷成立,利用神 经网络进行股票市场预测、处理贷款申请、核对笔记以及处理 上百种各种其他形式的分类申请。虽然创建者的初衷可能是更 为广阔的领域,但那时这一领域已经被另一些人控制,他们对 大脑的工作原理以及什么是智能毫无兴趣。 大众媒体对这个差异也不甚了了。各种报纸、杂志和电视 科学节目都将神经网络描述成“像大脑一样”或“是以大脑原 理”工作的。与处处需要编程的人工智能不同,神经网络是通 过事例学习的,这一点似乎更具智能化。其中一个主要代表就 是Nelk,它能学会将字母序列和读音相匹配。一开始这个网 络是用印刷文本训练的,因此听起来就是电脑的声音在朗读单 词。不难想像,用不了多长时间,神经网络就可以和人类对话 了。而全国新闻在报道时,却将 Net Talk错误地解释成一种可 以学习阅读的机器。尽管它的展示表演很精彩,但其实际功效 只能归于微不足道—它不会读,不能理解,没有任何实用价 值。它所做的只是将字母和预先确定的声音模式相结合而已。 让我们分析一下,看看神经网络与真正的大脑之间的差距到 底有多大。假设我们要研究的不是大脑,而是一台数字计算机的 工作原理。多年努力之后,我们发现电脑是由晶体管构成,上千
Neural Networks/23 第二拿网幕 万的晶体管精确而复杂地连接在一起构成一台计算机,但我们还 是不明白计算机是如何工作的,也不知道这些晶体管为什么要这 样连接。于是我们决定将几只晶体管连在一起,看看到底会发生 什么。你瞧,区区三只晶体管用某种方式连接在一起,就成了放 大器,一端输入的信号在另一端被放大。(收音机和电视机里的 放大器就是这样制成的。)这是一个伟大的发现,一夜之间形成 了一项新工业,开始制造收音机、电视机和其他各种使用放大器 的电器。这本无可厚非,但它并没能告诉我们计算机是如何工作 的。尽管放大器和计算机都是由晶体管构成,但除此之外,它们 再无任何相似之处。同样,真正的大脑和三列的神经网络都是由 神经元构成,但它们几乎完全不同。 我在1987年夏天的经历,又给我对神经网络并不高涨的兴 趣泼了一盆凉水。在一次神经网络会议上,一家名为 Nestor的公 同展示了一种能够识别模板手写文字的神经网络,并要价100万 美元。这引起了我的注意。尽管他们在这种神经网络规则系统的 尖端性上大做文章,甚至将它吹嘘成另一项重大突破,但我觉得 手写识别的问题可以通过另一种更简单、更传统的方法解决。回 家后,这个问题一直萦绕在我的脑海之中。两天后,我设计出 种速度更快、体积更小、使用更灵活的手写识别器。它不使用神 经网络,工作原理也和大脑完全不同,其规则系统的灵感来自于 我正在学习的一种与大脑有关的数学。那次会议促使我去设计 种带有触笔接口的电脑(最终这个想法成就了10年后的 Palm lot掌上电脑)。我设计的手写识别器为后来一种名为 Graffiti的 输入系统奠定了基础,这一系统在第一代Palm产品上广泛使 用。我知道 Nestor公司在这一场竞争中被淘汰出局了
24 ?On Intelligence 人智能的未来 简单的神经网络就到此为止。它的大部分功能都可以被其他 方式轻易地取代,媒体的大肆宣传最终也偃旗息鼓了。至少,神 经网络的研究者们并没有表示他们的模型是智能的,它们毕竟只 是一些极其简单的网络,与人工智能相比并无过人之处。我并不 想给大家留下一种印象,认为所有的神经网络都只有三层简单的 变化。实际上,一些研究人员一直在研究不同设计的神经网络。 如今,这个名词被用来描述各种不同形式的模型,其中一些在生 物学角度看来是精确的,而另一些则不是。但不论怎样,它们几 乎都忽视了对新大脑皮层的功能和构造的研究。 我认为,大多数神经网络和人工智能都有一个共同的特点 它们只注重行为,而这正是神经网络的问题所在。不论这 些行为被称为“回应”“模式”还是“输出”,人工智能和神经 网络研究者都认为智能存在于行为之中,而这种行为是执行 个输人后,由一个程序或神经网络产生出来的。电脑程序和神 经网络最重要的属性就是能否进行正确的、令人满意的输出, 就像阿兰·图灵所说的,智能等同于行为。 而实际上,智能并不是一种动作,也不是某种聪明的行 为。行为只是智能的一种表现,绝不是智能的主要特征或对于 智能的首要解释。思考就是有力的证明:当你躺在黑暗中思考 时,你就是智能的。如果忽略了头脑中的活动而只关心行为, 将对智能的理解和智能机器的发明造成障碍。 在进一步探索智能的定义之前,我想介绍另一种连接方 式,它与真正大脑的工作原理更接近,但问题是,几乎没有人
Neural Networks 25 第二幸凋络 认识到这项研究的重要性。 正当神经网络大出风头时,一小部分理论学家从中分离出 来,发明了一种不以行为为中心的网络,称为“自-匹配记 忆”(auto- associative memories)。它也是由相互连接的简单神经 元构成,这些神经元在达到某个临界点时可以自动激活。但它 们之间的连接方式不同,其中涉及大量的反馈。与只能正向传 输的反向传播网络不同,自一匹配记忆可以将各个神经元的输 出传回给输入——就像给自己打电话。这种反馈回路形成了一 些有趣的特点。当一种行为模式施加在人造神经元上之后,它们 就会对这种模式形成记忆,这种记忆网络将行为模式和它自身联 系在一起,因此被称为“自-匹配记忆”。 乍看起来,这种回路的结果似乎很荒谬。如果要检索一个 被存储的模式,你就必须先提供这个模式。这就像去食杂店买 香蕉,当店主问你如何付款时,你回答说用香蕉付账。你可能 会问:“这有什么用呢?”然而,自-匹配记忆所具有的一些特 征恰巧能在大脑中找到。 第一点,其最重要的特征是:要检索某个模式,不必要有 这个模式的全部,只要有其中的一个部分或一个乱作一团的模 式,即使你从一个混乱的形式开始,自-匹配记忆都可以检索 到以原始形式存储的正确模式。就像你拿着一些吃剩的、已不 新鲜的香蕉来到杂食店,换回的却是整爪的新鲜香蕉。或是你 拿着被撕破、已无法辨认的钞票来到银行,工作人员对你说: “我想这是一张破损的100元钞票。把它给我,我给你换一张 崭新的100元。” 第二点,和其他大部分神经网络不同,自-匹配记忆可以