信息检索与数据挖掘 2019/5/15 17 纹理特征 CT (Census Transfomansform (3x3) Census Transform (5X5) CT CT比较一个像素的灰度值与它的8-邻域 32 64 96 的灰度值，如果一个像素的灰度值大于等 32 64 96 →(11010110)2→CT=214 于它的8邻域某个像素的灰度值，则在对 32 32 96 --1-0 应像素的位置赋值为比特“1”，否则 LBP “0”。然后从左到右、从上到下收集这8 122 个比特并转换为一个值在[0,255]之间的 5 9 6 Threshold Binary:00010011 整数，此整数值就是原中心像素的CT值。 Decimal:19 相比其它基于灰度值比较的非参局部变换 5 3 1 而言，CT对光照变换、Y变换等不太敏感。 R.Zabih and J.Woodfill,"Non-parametric Local Transforms for Computing Visual Correspondence",ECCV 1994 2015.05 Google cited 1081
信息检索与数据挖掘 2019/5/15 17 纹理特征 CT (Census Transform) R. Zabih and J. Woodfill, “Non-parametric Local Transforms for Computing Visual Correspondence”, ECCV 1994 2015.05 Google cited :1081 Census Transform (3×3) Census Transform (5×5) CT 比较一个像素的灰度值与它的 8-邻域 的灰度值，如果一个像素的灰度值大于等 于它的 8-邻域某个像素的灰度值，则在对 应像素的位置赋值为比特 “1”，否则 “0”。然后从左到右、从上到下收集这 8 个比特并转换为一个值在 [0,255] 之间的 整数，此整数值就是原中心像素的 CT 值。 相比其它基于灰度值比较的非参局部变换 而言，CT 对光照变换、γ 变换等不太敏感。 CT LBP
信息检索与数据挖掘 2019/5/15 18 纹理特征 CENTRIST(CENsus TRansform hISTogram) (11), 10). 11 01),=1⊙ (00)2=09 (a) (b) (c) (d) CENTRIST比灰度直方图具有更强的辨识能力。例如，在一维情况下，CT 的取值只有(00)2，(01)2，(10)2，(11)2共4种可能，所以图(a)(c)的灰度直方图 是相同的，但是它们的CENTRIST却是不同的，如图(d)示。 CENTRIST:A Visual Descriptor for Scene Categorization Jianxin Wu and James M.Rehg 2015.05 Google cited:278 IEEE Transactions on Pattern Analysis and Machine Intelligence,33(8),2011:pp.1489-1501. mCENTRIST:A Multi-channel Feature Generation Mechanism for Scene Categorization Yang Xiao,Jianxin Wu and Junsong Yuan IEEE Transactions on Image Processing,23(2),2014:pp.823-836. http://cs.nju.edu.cn/wujx/projects/mCENTRIST/mCENTRIST.html
信息检索与数据挖掘 2019/5/15 18 纹理特征 CENTRIST (CENsus TRansform hISTogram) CENTRIST 比灰度直方图具有更强的辨识能力。例如，在一维情况下，CT 的取值只有 (00)2 , (01) 2 , (10) 2 , (11) 2共 4 种可能，所以图 (a)–(c) 的灰度直方图 是相同的，但是它们的 CENTRIST 却是不同的，如图 (d) 所示。 CENTRIST: A Visual Descriptor for Scene Categorization Jianxin Wu and James M. Rehg 2015.05 Google cited: 278 IEEE Transactions on Pattern Analysis and Machine Intelligence, 33(8), 2011: pp. 1489-1501. mCENTRIST: A Multi-channel Feature Generation Mechanism for Scene Categorization Yang Xiao, Jianxin Wu and Junsong Yuan IEEE Transactions on Image Processing, 23(2), 2014: pp. 823-836. http://cs.nju.edu.cn/wujx/projects/mCENTRIST/mCENTRIST.html
信息检索与数据挖掘 2019/5/15 19 纹理特征 变换域：二维Gabor滤波器 为了刻画局部时间轴范围内的频谱特征， 1946年，Dennis Gabor定义了窗口傅里叶变 换（短时傅里叶变换，即Gabor变换），对 f(t)的Gabor2变换为： G (@.t)=[ewf()g.(t-t)dr 8,0=2人e 2Nπa 通过频率参数和高斯函数参数的选取， 二维Gabor滤波器是在二维Gabor函数上构 Gabor?变换可以选取很多纹理特征， 建的。二维Gabor滤波器的参数分别定义了 但是Gabor是非正交的，不同特征分 滤波器的方向、滤波器的尺度和窗口函数。 量之间有冗余，所以在对纹理图像的 上图为5个尺度（高斯函数的方差a取值不同）、 分析中效率不太高。 8个方向上的Gabor滤波器核函数示意图
信息检索与数据挖掘 2019/5/15 19 纹理特征 变换域：二维 Gabor 滤波器 为了刻画局部时间轴范围内的频谱特征， 1946 年，Dennis Gabor 定义了窗口傅里叶变 换（短时傅里叶变换，即 Gabor 变换），对 f (t)的 Gabor变换为： 二维 Gabor 滤波器是在二维 Gabor 函数上构 建的。二维 Gabor 滤波器的参数分别定义了 滤波器的方向、滤波器的尺度和窗口函数。 上图为5个尺度(高斯函数的方差a取值不同)、 8个方向上的Gabor滤波器核函数示意图 通过频率参数和高斯函数参数的选取， Gabor变换可以选取很多纹理特征， 但是Gabor是非正交的，不同特征分 量之间有冗余，所以在对纹理图像的 分析中效率不太高
信息检索与数据挖掘 2019/5/15 20 方向梯度 23 422 5111713 934 11212327221746 2399165135532202 91155130136.1441525728 6167酒3塘206017051 165600027778543136 711334221082748110 Gradient Magnitude 0385006解907刀 37891797827180100 713617力3翰10216的15217酒 76特1168t5022125143 12001415014514414514g 5结61199轴1000113到113 305157757865145124 111709141101713g110 Gradient Direction Center The RGB patch and gradients represented using arrows.Right:The gradients in the same patch represented as numbers 中间图，箭头是梯度的方向，长度是梯度的大小，箭头的指向方向是像素强 度变化方向，幅值是强度变化的大小。 右边图，梯度方向矩阵中可以看到角度是0-180度，不是0-360度，这种被称 之为"无符号"梯度("unsigned'"gradients),因为一个梯度和它的负数是用同一 个数字表示的，也就是说一个梯度的箭头以及它旋转180度之后的箭头方向 被认为是一样的
信息检索与数据挖掘 2019/5/15 20 方向梯度 中间图，箭头是梯度的方向，长度是梯度的大小，箭头的指向方向是像素强 度变化方向，幅值是强度变化的大小。 右边图，梯度方向矩阵中可以看到角度是0-180度，不是0-360度，这种被称 之为"无符号"梯度("unsigned" gradients)，因为一个梯度和它的负数是用同一 个数字表示的，也就是说一个梯度的箭头以及它旋转180度之后的箭头方向 被认为是一样的
信息检索与数据挖掘 2019/5/15 21 方向梯度直方图 http://tel.archives-ouvertes.fr/docs/00/39/03/03/PDF/NavneetDalalThesis.pdf Histogram of Oriented Gradient,Navneet Dalal and Bill Triggs,CVPR 2005 http://lear.inrialpes.fr/people/triggs/pubs/Dalal-cvpr05.pdf 2015.05 google cited:11065 HOG:Histogram of Oriented Gradient Input image Detection window 将图像分成16*16的cell,用9个 bin的直方图来统计cell的梯度信 息(9维特征向量)。即可形成每 个cell的descriptor; Normalise gamma colour 。 2*2个cell组成一个block,block内 所有cell的特征descriptor串联起来 便得到该block的HOG特征 Compute gradients descriptor。 将图像内的所有block的HOG特征 Accumulate weighted votes descriptor串联起来就可以得到该 for gradient orientation over spatial cells imagel的HOG特征descriptor了。 Block z3块 Normalise contrast within ,20-40,22块 Overlap overlapping blocks of cells of Blocks z块 z1块 z1块 20块 X Feature vector,f= Collect HOGs for all blocks 200°-220，z2块 over detection window
信息检索与数据挖掘 2019/5/15 21 方向梯度直方图 HOG: Histogram of Oriented Gradient http://tel.archives-ouvertes.fr/docs/00/39/03/03/PDF/NavneetDalalThesis.pdf Histogram of Oriented Gradient, Navneet Dalal and Bill Triggs, CVPR 2005 http://lear.inrialpes.fr/people/triggs/pubs/Dalal-cvpr05.pdf 2015.05 google cited:11065 • 将图像分成16*16的cell，用9个 bin的直方图来统计cell的梯度信 息（9维特征向量）。即可形成每 个cell的descriptor； • 2*2个cell组成一个block，block内 所有cell的特征descriptor串联起来 便得到该block的HOG特征 descriptor。 • 将图像内的所有block的HOG特征 descriptor串联起来就可以得到该 image的HOG特征descriptor了