神经网络表示 ALVINN系统 Pomerleau 1993 使用一个学习到的ANN以正常的速度在高速公路上驾驶汽车 ANN的输入是一个30X32像素的网格,输出是车辆行进的方向 每个节点对应一个网络单元的输出,而从下方进入节点的实 线为其输入 隐藏单元,输出仅在网络内部,不是整个网络输出的一部分 每个输出单元对应一个特定的驾驶方向,这些单元的输出决 定哪一个方向是被最强烈推荐的 2003.12.18机器学习-人工神经网络作者: Mitchel译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏 6 神经网络表示 • ALVINN系统 – Pomerleau 1993 – 使用一个学习到的ANN以正常的速度在高速公路上驾驶汽车 – ANN的输入是一个30x32像素的网格，输出是车辆行进的方向 – 每个节点对应一个网络单元的输出，而从下方进入节点的实 线为其输入 – 隐藏单元，输出仅在网络内部，不是整个网络输出的一部分 – 每个输出单元对应一个特定的驾驶方向，这些单元的输出决 定哪一个方向是被最强烈推荐的
神经网络表示(2) ALVINN是很多ANN的典型结构,所有单元分 层互连形成一个有向无环图 通常,ANN图结构可以有很多种类型 无环或有环 有向或无向 本章讨论以反向传播算法为基础的ANN方法 反向传播算法假定网络是一个固定结构,对应 个有向图,可能包含环 ANN学习就是为图中每一条边选取权值 大多数实际应用与 ALVINN相似 2003.12.18 机器学习-人工神经网络作者: Mitchell译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏 7 神经网络表示（2） • ALVINN是很多ANN的典型结构，所有单元分 层互连形成一个有向无环图 • 通常，ANN图结构可以有很多种类型 – 无环或有环 – 有向或无向 • 本章讨论以反向传播算法为基础的ANN方法 • 反向传播算法假定网络是一个固定结构，对应 一个有向图，可能包含环 • ANN学习就是为图中每一条边选取权值 • 大多数实际应用与ALVINN相似
适合神经网络学习的问题 训练集合为含有噪声的复杂传感器数据, 例如来自摄像机和麦克风 需要较多符号表示的问题,例如决策树 学习的任务,能够取得和决策树学习大 体相当的结果 反向传播算法是最常用的ANN学习技术 2003.12.18机器学习-人工神经网络作者: Mitchel译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏 8 适合神经网络学习的问题 • 训练集合为含有噪声的复杂传感器数据， 例如来自摄像机和麦克风 • 需要较多符号表示的问题，例如决策树 学习的任务，能够取得和决策树学习大 体相当的结果 • 反向传播算法是最常用的ANN学习技术
反向传播算法适合问题的特征 ·实例是用很多“属性-值”对表示的 目标函数的输出可能是离散值、实数值或者由 若干实数属性或离散属性组成的向量 训练数据可能包含错误 可容忍长时间的训练 可能需要快速求出目标函数值 人类能否理解学到的目标函数是不重要的 2003.12.18机器学习-人工神经网络作者: Mitchel译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏 9 反向传播算法适合问题的特征 • 实例是用很多“属性-值”对表示的 • 目标函数的输出可能是离散值、实数值或者由 若干实数属性或离散属性组成的向量 • 训练数据可能包含错误 • 可容忍长时间的训练 • 可能需要快速求出目标函数值 • 人类能否理解学到的目标函数是不重要的
本章余后部分提纲 讨论训练单个单元的学习算法 介绍组成神经网络的几种主要单元 感知器( perceptron) 线性单元( liner unit) sigmoid单元( sigmoid unit) 给出训练多层网络的反向传播算法 考虑几个一般性问题 ANN的表征能力 假设空间搜索的本质特征 过度拟合问题 反向传播算法的变体 例子,利用反向传播算法训练识别人脸的ANN 2003.12.18机器学习-人工神经网络作者: Mitchel译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏 10 本章余后部分提纲 • 讨论训练单个单元的学习算法 • 介绍组成神经网络的几种主要单元 – 感知器（perceptron） – 线性单元（liner unit） – sigmoid单元（sigmoid unit） • 给出训练多层网络的反向传播算法 • 考虑几个一般性问题 – ANN的表征能力 – 假设空间搜索的本质特征 – 过度拟合问题 – 反向传播算法的变体 • 例子，利用反向传播算法训练识别人脸的ANN