信息检索与数据挖掘 2019/5/15 7 引言: 传统图像分类与识别系统基本结构 分类器参数学习(训练) 训练图类别标签 hl J 特征提取与图像表示 监督式分类器训练 分类器参数(判别函数) 特征提取与图像表示 分类器 场景标签 特征矢量
信息检索与数据挖掘 2019/5/15 7 引言: 传统图像分类与识别系统基本结构 特征提取与图像表示 分类器 特征矢量 场景标签 特征提取与图像表示 监督式分类器训练 训练图类别标签 分类器参数(判别函数) 分类器参数学习(训练)
信息检索与数据挖掘 2019/5/15 8 图像分类的算法思想 传统图像分类方法包 从文本分类→图像分类 含两部分工作:特征 。如何从图像中获取全局特征? 提取,分类器设计。 ·颜色特征、纹理特征、形状特征 关于分类器在课程前 ·如何从图像中获取局部特征? 面章节已有充分的讨 SIFT:Scale-invariant feature transform 论。 图像分类的几个发展阶段 。Low-level Modelling 。 Semantic Modelling 。 Sparse Coding 。Deep Learning
信息检索与数据挖掘 2019/5/15 8 图像分类的算法思想 •从文本分类图像分类 • 如何从图像中获取全局特征? • 颜色特征、纹理特征、形状特征 • 如何从图像中获取局部特征? • SIFT: Scale-invariant feature transform •图像分类的几个发展阶段 • Low-level Modelling • Semantic Modelling • Sparse Coding • Deep Learning 传统图像分类方法包 含两部分工作:特征 提取,分类器设计。 关于分类器在课程前 面章节已有充分的讨 论
信息检索与数据挖掘 2019/5/15 9 图像分类的算法思想 ·从文本分类→图像分类 ·如何从图像中获取全局特征? ·颜色特征、纹理特征、形状特征 ·如何从图像中获取局部特征? SIFT:Scale-invariant feature transform 图像分类的几个发展阶段 。Low-level Modelling 。 Semantic Modelling ·Sparse Coding ·Deep Learning
信息检索与数据挖掘 2019/5/15 9 图像分类的算法思想 •从文本分类图像分类 • 如何从图像中获取全局特征? • 颜色特征、纹理特征、形状特征 • 如何从图像中获取局部特征? • SIFT: Scale-invariant feature transform •图像分类的几个发展阶段 • Low-level Modelling • Semantic Modelling • Sparse Coding • Deep Learning
信息检索与数据挖掘 2019/5/15 10 颜色(Color)特征 将图像区域做了进一步分割,原来的单一直方图 变为了多个小区域直方图的联合 分块直方图 内容不同的图可能具有相似的直方图 将图像分成不重叠(或重叠)的子区域,对每一个子 区域单独提取颜色直方图,然后将各子区域的短直方 图按固定顺序连接成一个长直方图作为目标特征
信息检索与数据挖掘 2019/5/15 10 颜色(Color)特征 分块直方图 内容不同的图可能具有相似的直方图 将图像分成不重叠(或重叠)的子区域,对每一个子 区域单独提取颜色直方图,然后将各子区域的短直方 图按固定顺序连接成一个长直方图作为目标特征。 将图像区域做了进一步分割,原来的单一直方图 变为了多个小区域直方图的联合 …
信息检索与数据挖掘 2019/5/15 11 颜色(Color)特征 变换域:Oliva和Torralba所提gist图像全局特征 Natural scenes 0.1 c/p ELAf,21S]Y「,(0)/f-a0 .I c/p 极坐标形式的傅立叶 0.1 c/p 变换:不同类别图像 Man-made scenes 0.1cp 显示出明显的差异性 ⊙ 对输入图像进行预滤波,采用离散傅立 Natural River and Forest Mountain Beach Coast object waterfall 叶变换和加窗傅立叶变换来提取输入图 像的全局特征信息。 Man-made Portrait Indoor High City-view Highway object scene building Oliva,A.and A.Torralba(2001)."Modeling the Shape of the Scene:A Holistic Representation of the Spatial Envelope."International Journal of Computer Vision 42(3). 2015.05 Google cited:3020
信息检索与数据挖掘 2019/5/15 11 颜色(Color)特征 变换域:Oliva和Torralba所提gist图像全局特征 对输入图像进行预滤波,采用离散傅立 叶变换和加窗傅立叶变换来提取输入图 像的全局特征信息。 Oliva, A. and A. Torralba (2001). "Modeling the Shape of the Scene: A Holistic Representation of the Spatial Envelope." International Journal of Computer Vision 42(3). 2015.05 Google cited: 3020 极坐标形式的傅立叶 变换:不同类别图像 显示出明显的差异性