知识点： ·统计学习基本概念与定义 ·统计模式识别基本概念与定义 。统计模式识别应用领域 。统计模式识别系统框架 。生成法与判别法 重点与难点： ·重点：统计学习基本知识与概念，及应用领域。 。难点：理解生成法与判别法的区别 6/49
知识点： 统计学习基本概念与定义 统计模式识别基本概念与定义 统计模式识别应用领域 统计模式识别系统框架 生成法与判别法 重点与难点： 重点：统计学习基本知识与概念，及应用领域。 难点：理解生成法与判别法的区别 6 / 49
1.1.统计学习的定义 data Machine Hypothesis 7/49
1.1. 统计学习的定义 7 / 49
“统计”的定义 是关于收集、组织、分析、解释、陈述数据的科学。 "The study of the collection,organization,analysis, interpretation and presentation of data",Oxford Dictionary of Statistical Terms. 2描述性统计学(Descriptive Statistics):总结叙述收集来 的数据。如均值，方差。what happened 3预测性统计学(Predictive Statistics):将数据中的数据模 型化，并且做出对于母群体的推论。如回归分析。 what will happen ④指导性统计学(Prescriptive Statistics):将数据中的数据 模型化，并且规划出下一步行动决策。what to do Any function of the samples is a statistic,such as the sample mean and variance 8/49
“统计”的定义 1 是关于收集、组织、分析、解释、陈述数据的科学。 ”The study of the collection, organization, analysis, interpretation and presentation of data”, Oxford Dictionary of Statistical Terms. 2 描述性统计学(Descriptive Statistics): 总结叙述收集来 的数据。如均值，方差。what happened 3 预测性统计学(Predictive Statistics): 将数据中的数据模 型化，并且做出对于母群体的推论。如回归分析。 what will happen 4 指导性统计学(Prescriptive Statistics): 将数据中的数据 模型化，并且规划出下一步行动决策。what to do Any function of the samples is a statistic, such as the sample mean and variance 8 / 49
“学习”的定义 (1)对人类而言，百度百科：学习是透过教授或体验而获得知识、 技术、态度或价值的过程，从而导致可量度的稳定的行为变化，更 准确一点来说是建立新的精神结构或审视过去的精神结构。学习必 须倚赖经验才能有长远的成效。 (2)对系统而言，H.A.Simon(Nobel Prize in Economics-l978; Turing Award-l975):如果一个系统能够通过执行某个过程改进它的 性能，这就是学习。 (3)对计算机系统而言，T.M.Mitchell:以性能量度P进行衡量， 如果一个计算机程序在某类任务T上的性能，随着经验E而提升， 那么我们称这个计算机程序从经验E中学习。 A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P,if its performance at tasks in T,as measured by P,improves with experience E. 9/49
“学习”的定义 （1）对人类而言，百度百科：学习是透过教授或体验而获得知识、 技术、态度或价值的过程，从而导致可量度的稳定的行为变化，更 准确一点来说是建立新的精神结构或审视过去的精神结构。学习必 须倚赖经验才能有长远的成效。 （2）对系统而言，H. A. Simon (Nobel Prize in Economics-1978; Turing Award-1975)：如果一个系统能够通过执行某个过程改进它的 性能，这就是学习。 （3）对计算机系统而言，T. M. Mitchell：以性能量度 P 进行衡量， 如果一个计算机程序在某类任务 T 上的性能，随着经验 E 而提升， 那么我们称这个计算机程序从经验 E 中学习。 A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E. 9 / 49
常见任务Task,T (Classification):the computer program is asked to specify which of k categories some input belongs to.To solve this task,the learning algorithm is usually asked to produce a function: f:R”→{1，，k Output is discrete(离散的) 2(Regression):the computer program is asked to predict a numerical value given some input.To solve this task,the learning algorithm is asked to output a function :R”→R Output is continuous(连续的) 10/49
常见任务 Task, T 1 分类 (Classification): the computer program is asked to specify which of k categories some input belongs to. To solve this task, the learning algorithm is usually asked to produce a function: f : R n → {1, ..., k} Output is discrete (离散的) 2 回归 (Regression): the computer program is asked to predict a numerical value given some input. To solve this task, the learning algorithm is asked to output a function f : R n → R Output is continuous (连续的) 10 / 49