线性模型

第三章：线性模型

第三章：线性模型

目录口线性回归最小二乘法二分类任务对数几率回归线性判别分析口多分类任务一对一一对其余多对多类别不平衡问题■

目录  线性回归 ⚫ 最小二乘法  二分类任务 ⚫ 对数几率回归 ⚫ 线性判别分析  多分类任务 ⚫ 一对一 ⚫ 一对其余 ⚫ 多对多  类别不平衡问题

基本形式口线性模型一般形式f(α)=Wii+W22+...+WdCd+b = （α1;2;：：.;αd)是由属性描述的示例，其中i是a在第i个属性上的取值口向量形式f (α) =wT+b其中w=(W1;W2;...;Wd)

基本形式  线性模型一般形式 是由属性描述的示例，其中 是 在第 个属性上的 取值  向量形式 其中

线性模型优点形式简单、易于建模可解释性二非线性模型的基础口引入层级结构或高维映射口一个例子综合考虑色泽、根蒂和敲声来判断西瓜好不好其中根蒂的系数最大，表明根蒂最要紧：而敲声的系数比色泽大，说明敲声比色泽更重要f好瓜（α）=0.2·α色泽+0.5·根蒂+0.3·敲声+1

线性模型优点  形式简单、易于建模  可解释性  非线性模型的基础 ⚫ 引入层级结构或高维映射  一个例子 ⚫ 综合考虑色泽、根蒂和敲声来判断西瓜好不好 ⚫ 其中根蒂的系数最大，表明根蒂最要紧；而敲声的系数比色泽大，说 明敲声比色泽更重要

线性回归口给定数据集D=【(α1,Y1）,（α2,y2），..，（cm，Ym）)其中 i=(αi;Ci2;..;Cid)Yi ER口线性回归（linearregression）目的学得一个线性模型以尽可能准确地预测实值输出标记口离散属性处理有“序”关系连续化为连续值无“序”关系有k个属性值，则转换为k维向量

线性回归  给定数据集 其中 ，  线性回归（linear regression）目的 ⚫ 学得一个线性模型以尽可能准确地预测实值输出标记  离散属性处理 ⚫ 有“序”关系 ⚫ 连续化为连续值 ⚫ 无“序”关系 ⚫ 有k个属性值，则转换为k维向量