常见性能量度Performance Measure,P ①0-1损失函数(Classification): w)={6图 2平方损失函数： L0,f(x)=y-f(x)2 3绝对损失函数： Ly,f(x)=y-f(x川 ④对数（似然）损失函数： L(y,P(yx))=-log(P(vx)) 11/49
常见性能量度 Performance Measure, P 1 0-1 损失函数 (Classification): L(y, f (x)) = { 1, y 6= f (x) 0, y = f (x) 2 平方损失函数: L(y, f (x)) = (y − f (x))2 3 绝对损失函数: L(y, f (x)) = |y − f (x)| 4 对数（似然）损失函数: L(y, P(y|x)) = − log(P(y|x)) 11 / 49
经验Experience,E d监督学习Supervised learning: ,x 2非监督学习Unsupervised learning: {x} 3增强学习Reinforcement learning:能形成奖励函数的数 据。Modeled as a Markov decision process: oS,a set of states of the environment and agent A,a set of actions of the agent oPa(s,s)=P(st+1=sst =s,at =a),probability of transition from state s to state s'under action a. Ra(s,s),(expected)immediate reward after transition from s to s o find a policyπ：(SxA)→[O,l]with maximum expected reward E(R),T(as)=P(ar=as:=s) 12/49
经验 Experience, E 1 监督学习 Supervised learning: {y i , x i } N i=1 2 非监督学习 Unsupervised learning: {x i } N i=1 3 增强学习 Reinforcement learning: 能形成奖励函数的数 据。Modeled as a Markov decision process： S, a set of states of the environment and agent A, a set of actions of the agent Pa(s,s ′ ) = P(st+1 = s ′ |st = s, at = a), probability of transition from state s to state s ′ under action a. Ra(s,s ′ ), (expected) immediate reward after transition from s to s ′ find a policy π : (S × A) 7→ [0, 1] with maximum expected reward E(R), π(a|s) = P(at = a|st = s) 12 / 49
“统计学习”的定义 P统计学习(Statistical Learning)是关于计算机基于数据构 建模型、并运用模型对数据进行预测和分析的一门学科， 统计学习也称为统计机器学习(Statistical Machine Learning)。 To extract important patterns and trends,and understand"what the data says."We call this learning from data ·本课程主要关注基于统计学习的模式识别理论与应用， 简称统计模式识别(Statistical Pattern Recognition) 13/49
“统计学习”的定义 ▶ 统计学习 (Statistical Learning) 是关于计算机基于数据构 建模型、并运用模型对数据进行预测和分析的一门学科， 统计学习也称为统计机器学习(Statistical Machine Learning)。 To extract important patterns and trends, and understand ”what the data says.” We call this learning from data. ▶ 本课程主要关注基于统计学习的模式识别理论与应用， 简称统计模式识别(Statistical Pattern Recognition) 13 / 49
“模式(Pattern)”的定义 存在于时间和空间中的可观测的事物，如果我们可以区 别他们是否相同或是否相似，都可以称为模式。模式不是 事物本身，而是我们从事物得到的信息。 ·模式：对具体的个别事物进行观测所得到的，具有时间 和空间分布的信息。 ·模式类：同一类模式的总体。简称为模式。 样本：个别具体模式的简称。 14/49
“模式（Pattern）”的定义 ▶ 存在于时间和空间中的可观测的事物，如果我们可以区 别他们是否相同或是否相似，都可以称为模式。模式不是 事物本身，而是我们从事物得到的信息。 ▶ 模式：对具体的个别事物进行观测所得到的，具有时间 和空间分布的信息。 ▶ 模式类：同一类模式的总体。简称为模式。 ▶ 样本：个别具体模式的简称。 14 / 49
统计模式学习的主要特点 (1)平台为计算机及其网络。单机、云平台。 (2)研究对象为数据，是由数据驱动。数据包括文本、图 像、语音、视频等多种媒体。 (3)目标是对数据进行分析、预测。 (4)核心是方法。方法构建模型，利用模型进行分行和预 测。 (5)是概率论、统计学、信息论、计算理论、最优化理论、 计算机科学的交叉学科。 15/49
统计模式学习的主要特点 （1）平台为计算机及其网络。单机、云平台。 （2）研究对象为数据，是由数据驱动。数据包括文本、图 像、语音、视频等多种媒体。 （3）目标是对数据进行分析、预测。 （4）核心是方法。方法构建模型，利用模型进行分行和预 测。 （5）是概率论、统计学、信息论、计算理论、最优化理论、 计算机科学的交叉学科。 15 / 49