第6卷第6期 智能系统学报 Vol.6 No.6 2011年12月 CAAI Transactions on Intelligent Systems Dec.2011 doi:10.3969/j.issn.16734785.2011.06.004 独立分量分析的图像/视频分析与应用 刘琚，孙建德 (山东大学信息科学与工程学院，山东济南250100) 摘要：随着通信和计算机技术的发展，图像和视频信息的应用越来越多.图像和视频信息分析中的一个重要方法 是获得合适的特征来逼近人类视觉特性，独立分量分析是一种新的无监督训练方法，它可以在图像和视频的理解方 面很好地与人类视觉相匹配.给出了不同的ICA图像/视频分析模型和基于这些模型的独立特征，对多煤体ICA分 析和数字小波分析方法进行了对比，对于不同分析方法的计算机仿真给出了不同模型的独立特征，并且给出了基于 这些特征在图像和视频水印方案中的应用.应用实验的仿真结果表明，独立特征对于图像和视频水印性能具有较好 的改善作用. 关键词：独立分量分析：特征提取：视频分析：数字水印 中图分类号：TP18;TN911.7文献标志码：A文章编号：16734785(2011)060495-12 Independent component analysis-based image/video analysis and applications LIU Ju,SUN Jiande (School of Information Science and Engineering,Shandong University,Ji'nan 250100,China) Abstract:The application of image and video is becoming increasingly popular with the development of computer and communication techniques.One of the important methods applied in image and video information analysis is to obtain suitable features which approach the visual characteristics of humans.Independent component analysis (ICA)is an unsupervised training method which effectively matches human vision with image and video under- standing.In this paper,different image/video analysis models of ICA were presented and the independent image/ video features based on these models were analyzed.A comparison between multimedia ICA and digital wavelet transform(DWT)was performed.Finally,computer simulation results on various analysis methods were given to show the independent features of different models and their applications in image and video watermarking.The re- sults of the application simulations show that the independent features may make improvements for image and video watermarking. Keywords:independent component analysis;feature extraction;video analysis;digital watermarking 随着计算机和网络技术的发展，多媒体技术得析、变换后才可以获得图像/视频中隐含的特征并进 到了广泛的应用，近年来又出现了新媒体的概念.多行识别、分类、检索和理解等应用. 媒体通常是指语音、图像和视频信息，新媒体则扩展 目前常用的图像特征分析方法大多分为时/空 到图形、文字、动画和虚拟场景等.然而，人们获取信 域和变换域方法.时/空域中处理技术通常有时延、 息的最主要来源仍然是图像和视频.人们从图像/视 尺度变换、插值、采样、旋转、滤波等，而变换域方法 频可以得到直观信息，但是只有对图像/视频进行分 最主要的就是傅里叶变换和小波变换等.变换域处 理方法的中心思想是将信号分解成基信号的叠加， 收稿日期：2011-0103. 基金项目：国家自然科学基金资助项目(60872024,61001180， 这些基信号可以表现出原始信号的特性，如频率特 60970048):高等学校科技创新工程重大项目培育资金资 性、时频特性等. 助项目(708059)；山东大学资助创新基金资助项目 (2010J0007):教育部博士点专项基金资助项目（新教师项 傅里叶变换是将一个信号的时域表示形式映射 目，200804221023). 到一个频域表示形式，对一个信号做傅里叶变换，可 通信作者：刘琚.E-mail:juliu@sd血.edu.cn
·496 智能系统学报 第6卷 以得到其频域特性，包括幅度和相位2个方面.离散 解分离矩阵W,通过s=W,得到s的估计.已经有 余弦变换(discrete cosine transform,DCT)是一种与 许多成熟的ICA算法、如FastICA算法[3]由于其算 傅里叶变换紧密相关的数学运算. 法简单和良好性能而被广泛应用. 信号通过傅里叶变换表现的是频率特性，但是 FastICA是一种快速的定点独立分量分析算法. 不同频率的基信号出现的时间无法确定，因此出现 它首先对观察信号利用主分量分析(principle com- 了信号时频分析工具一小波变换.对于数字信号 ponent analysis,PCA)进行预白化，将观察信号x变 的时频特性分析主要采用的是离散小波变换(ds 换成z=Ux,使得z的分量具有单位方差且互不相 crete wavelet transform,DWT). 关，其中z的自相关矩阵是单位阵，U为白化阵。 离散小波变换是以相互正交的母小波为基函 FastICA利用峭度目标函数作为分离准则，分离 数，是时间和频率局域化的变换，因而能有效地从信 矩阵的训练公式为 号中提取时频分布参数.通过伸缩和平移等运算可 V(k)=E[z(V(k-1)z)3]-3V(k-1) 对信号进行多尺度的细化分析，解决了傅里叶变换 式中：k是迭代次数，最终分离矩阵为W=VU, 不能解决的许多问题，被认为是时间-尺度分析和多 1.2图像的ICA模型 分辨率分析的一种新技术.它在信号分析、语音 文献[4]中，A.Hyvarinen将ICA用于图像特征 合成、图像识别、计算机视觉、数据压缩、地震勘探、 提取 大气与海洋波分析等方面都取得了具有科学意义和 假设一个信号在某个采样点x的信号值表示为 应用价值的成果。 I(x).信号处理中的许多基本模型将该信号I(x)表 独立分量分析(independent component analysis, 示为一系列的特征或基函数a:(x)的线性叠加的结 ICA)是近年来在信号分析与处理中发展起来的一 果： 种新方法，它作为一种盲源分离技术(blind source separation,BSS),是信号处理领域的研究热点.ICA I(x)=】 a,(x)s 的实质就是寻求一种线性变换，将一组随机变量表 式中：s:为随机系数，每一个信号I(x)对应的S是 示成一组统计意义上相互独立的变量的线性组 不相同的.由此简化为对于信号向量x= 合2)，因此通过ICA提取的信号特征是相互独立 [x12…xm]',信号的表示为x=As.这种简洁的表 的.目前ICA已经广泛地应用于特征提取、生理学 示与基本的ICA模型完全相同. 数据分析、语音信号处理、图像处理、人脸识别和数 图1给出由特征基向量合成图像的模型4 字水印等方面. 1ICA和基于ICA的图像特征提取 a, 1.1独立分量分析 图1图像合成模型 ICA作为一种信号处理技术，其目的就是以统 Fig.1 Image mixture model 计独立的变量的线性组合来表示一组随机变量2] 1.3基于分块的ICA特征提取 ICA最有意义的2个应用就是盲源分离和特征提 在ICA模型中，至少存在2个观测信号，而实际 取，而这2个方面和数字水印研究有着相通性和密 中需要处理的往往只有一幅图像，因而，许多基于 切的联系。 ICA的水印方案采用对原始图像分块的方式得到多 盲源分离是在源信号和传输通道参数未知的情 个观测信号，把每个块看作一个观测信号来建立 况下，根据输入源信号的统计特性，仅通过观测信号 ICA模型. 就可以实时地恢复或提取源信号， 对于图像，通常是将图像分成8×8或是16× ICA信号模型如式(1)： 16的像素块，如图2，并把这些块作为ICA模型中的 x=As, 观测信号，再通过ICA得到源信号.这样得到的所 s Wx. (1) 谓源信号是相互独立的，可以视为图像的特征，因此 式中：x=[x1x2…xn]T是m维观察信号矢量，s= 这一过程称作特征提取. [s152·sn]T是n维未知源信号矢量，A是未知的混 图3是自然图像采用基于分块ICA提取出来的 叠矩阵，W是未知的分离矩阵 基向量4.为了更好地表现特征，人们往往采用一 ICA就是仅根据观察信号x来估计源信号s,求 些标准化手段.具体做法为：首先，将图像进行线性
第6期 刘琚：独立分量分析的图像/视频分析与应用 ·497· 标准化，使得像素具有零均值、单位方差：然后.将图 抽取偶行、奇列得到；由D组成的子图是由原始图像 像分成块，再利用FastICA方法进行处理；最后，得 通过抽取偶行、偶列得到.图5是将原始标准peppers 到ICA的向量基.A.Hyvarinen指出[4，这些基向量 图像经过上述采样方法得到的分解结果. 显然在空间、频率、方向这3个方面都具有局部性， 而且这些特征与Gbor函数十分相似，同时也指出 ABABABAB AAAAC CCC 这些基向量与小波也有相似性. C D C D C D C D AAAACCCC A BABABAB AAAACCCC C DC D C D C D AAAA CCCC ABABABAB BBBB DDDD C DC D C D C D 8×8 BBBBDDDD ABABABAB BB BB DDD D 或者 CD C D C D C D BB BB DDDD 16×16 图4原始图像以及经下采样得到的4个子图 Fig.4 Original image and the four sub-images ob- 原始图像 分成8×8或16×16的块 tained by downsampling 图2分块法 Fig.2 Method of image blocking 图3利用分块ICA提取出来的自然图像基向量 Fig.3 Basis vectors of natural images extracted by the 图5原始peppers图像以及经下采样得到4个子图 method of blocking ICA Fig.5 Original standard image "peppers"and the four 这些特征能被证明含有原始图像的一些方向边 sub-images obtained by downsampling 缘，因此被用作图像重构的基).此外，Hateren证明 将上述采样方法分解得到的4个子图作为观测 了这些特征与人类视觉获得的特征是相似的，并且 信号进行ICA处理，就可以得到相应的特征. 在视频中的相应实验中也得到了相似的结论[6， 为了后面便于跟小波变换对比，把下采样与 1.4基于采样的图像独立特征分析方法模型 ICA相结合处理信号的整个过程称为ICA变换 基于分块的ICA模型，在图像分块之后，各个 (ICA transform,ICAT)7].通过ICAT得到的4个特 块和原图像都失去了相似性，提取出来的特征并不 征图像(feature image,.FI),可以用子带的方式表 能很好地反映图像的整体特性， 示，如图6 采样法是一种十分常用的信号处理方法，可以 根据不同的采样因子或者采样间隔将信号分解成相 似的信号.用采样法抽取则可以使得到的图像与原 始图像相似.当采样因子为2时，原图像可以被分解 为4个相似的子图. 假设原始图像大小为n×m,通过采样因子为2的 下采样（如图4）后，得到4个子图，如式(2)表示为： I(i,)=I(2i-1,2i-1), Ie(i,j)=I(2i-1,2j), 图6ICAT提取的4个特征分量 1n(i,j)=1(2i,2j-1), Fig.6 Four feature images obtained by ICAT I4(i,j)=I(2i,2j). (2) 图6中，FL,L2,L3,F4就是原始图像经ICAT 式中：I为原始图像，i=1,2,…,n/2,j=1,2,…m/2. 获得的特征.根据ICA理论，这4个特征不但不相 图4中由A组成的子图为原始图像通过抽取奇 关，而且相互独立.不难发现，这个分析结果与图像 行、奇列得到；由B组成的子图是由原始图像通过抽 经小波理论多尺度分析得到的结果（即图8(b))很 取奇行、偶列得到；由C组成的子图为原始图像通过
·498. 智能系统学报 第6卷 相似.因此，将L4称为原始图像的概貌分量，L, FL2,FL3被称为细节分量. 1.5图像ICA特征分析与小波分析方法比较 在小波分析理论中，信号二层、三层乃至高层的 分析方法，在实际应用中被广泛地应用.因此，研究 二层、高层的ICAT分解方法具有一定意义. 基于采样和ICA的特征分析方法二层分解模 型有2种.第1种是与小波分析方法类似，将一层 ICAT分解得到的各个分量继续进行一次ICAT处 )2层DWT分解对pepper图像处理结果(L.子带为 概貌部分，其余LH,HL,HH子带分别是原始 理.另一种方法是将图像经过采样因子为4的采样 图像在竖直、水平和对角方向上的细节部分) 提取出16个子图，然后对这16个图像进行ICA处 图8ICAT与DWT的分析结果对比 理，这个过程被称为基于采样因子为4的ICAT.在 Fig.8 Comparison between ICAT and DWT 这里只以第1种方法为例进行说明，分解原理图如 小波多尺度分析中，图像分解得到概貌分量表 图7所示. 示的是原始图像的低频子带，是原始图像能量最集 中的部分，体现了原始图像中的主要信息.因此，本 -E1112 文把概貌部分的能量统计特性作为概貌分量的一个 F11F13 F11一层ICAT F11 F14 准则来衡量相应的变换方法的优劣. F11 F11 -F12 F1I 本文将概貌分量进行二维离散余弦变换(2D F12F12 F12☐一层1GAT DCT),对得到的离散余弦系数进行igag扫描，得 F12F13 到的DCT系数按从低频到高频依次排列.除第1个 始 F12F14 一层ICAT F13 F11 DCT系数（直流系数）外，再按照从低频到高频的顺 像 P13F12 13一层ICAT 序统计交流系数能量分别占整个交流系数总能量 F13■F13 F13F14 95%、90%的个数.如果这个数目在总的交流系统中 1411 所占的比例越小，则表明对应变换的能量集中特性 F14F12 -14☐一层ICAT F14 F13 更好 -F14■F14 实验中采用标准peppers图像，图像大小为512× 图7第1种2层ICAT分解原理 512,离散小波变换采用的母小波为Daubechie84小波. Fig.7 The framework of the first type of 2-order ICAT 分别对一层、二层小波分析和ICAT分解得到的概貌分 第1种方法与常用的小波多尺度分析方法相类 量进行上述的DCT系数统计分析. 似，将它与离散小波变换进行分析结果对比.标准图 1)一层分解结果.在DWT得到的概貌分量（由 像peppers通过第1种二层ICAT方法处理的结果 于采用Daubechies-4小波，概貌分量像素大小为 如图8(a),其中16个分量中存在着概貌分量（最后 259×259)的交流(AC)系数当中，按从低频到高频 一个分量)及细节分量（其余15个分量）.图8(b) 的顺序，前5627个低频交流系数的能量占据了整个 是peppers图像通过二层2D-DWT处理得到的结 交流系数总能量的95%，这些系数占据整个交流系 果，其中母小波采用的是Daubechies-4小波[89]. 数的8.39%；而ICAT概貌分量（像素大小为256× 256)的统计数量为3451个，占据整个交流系数的 5.27%,仅仅是DWT结果的61%.这说明，按从低 频到高频顺序统计，ICAT概貌分量中的前3451个 交流系数恢复的图像可以得到用小波概貌分量前 5627个交流系数恢复图像的质量.这意味着一层 ICAT分解提取的概貌分量能量较DWT更加集中. 2)二层分解统计结果.二层DWT得到的概貌 分量，其像素大小为69×69，它的交流(AC)系数当 (a)2层ICAT分解对peppers图像处理结果 中，按从低频到高频的顺序，前1673个交流系数的 能量占据了整个交流系数总能量的95%，这些系数
第6期 刘琚：独立分量分析的图像/视频分析与应用 .499· 占据整个交流系数的35.14%.另外，前962个交流 视频 系数的能量占据了整个交流系数总能量的90%，这 D为 A AB C D 子视频 些系数占据整个交流系数的19.61%.采样因子为2 EFGH 的二重ICA方法得到的概貌分量，其像素大小为64 M IJK L ×64,它的交流(AC)系数当中，按从低频到高频的 M NO P 0 顺序，前1296个低频交流系数的能量占据了整个交 流系数总能量的95%，这些系数占据整个交流系数 的31.64%；前650个低频交流系数的能量占据了 CA 整个交流系数总能量的90%，这些系数占据整个交 流系数的15.87%.这意味着基于下采样的二层 ICAT分解方法提取的概貌分量与二阶离散小波变 独立特仙 换提取的概貌分量相比，能量更加集中. 图9视频独立块特征的提取框架 ICAT和DWT概貌分量能量统计的结果说明 Fig.9 Framework of the independent block-based ICAT提取的概貌分量能量与DWT提取的概貌分量 video feature extraction 相比，能量更加集中.也就是说，可以用相对较少的 DCT系数恢复出同样质量的图像.这说明，ICAT方 法的稀疏性要强于DWT,即可以用较少的数据恢复 相同质量的图像.众所周知，DWT能去除数据的相 关性以达到减少数据的冗余的目的0]而被应用于 数据压缩，并已经作为JPEG2000压缩标准的理论 基础.ICA获得的分量不仅不相关而且是统计独立 的，这能在更大程度上减少数据冗余.上述实验也都 图10视频G0P中帧的典型结构 Fig.10 The structure of GOP 证明了这一点.因此利用ICAT压缩图像时，压缩性 按照视频中这种COP的结构来对视频在时间 能可能会优于DWT. 上进行分段.分段后，再按照图9中描述的过程进行 2视频的独立动态特征分析 视频特征的提取，这样获得的特征被称为视频独立 类似于图像的ICA分析，视频的ICA分析也有 块特征(video independent block feature,VIBF).这个 不同的模型，因此，基于ICA的视频分析可以产生 过程中的视频块特征本身也是视频的形式，称其中 不同的独立视频特征。 的视频帧为切片，以便和原视频中的帧进行区别. 2.1视频的独立块特征 2.2视频的独立动态分量特征 将1.3节中基于图像分块的ICA特征表示 基于独立块特征的表示方法能够很好地表示一 向视频扩展，首先将视频进行时间上的分段，然后将 段视频，然而这种独立块特征的含义并不非常明确。 分段视频在空间上分块，把视频分为三维块，以这些 视频是时间轴上有序排列的连续图像序列，这些连 三维块作为ICA模型中的观测分量进行ICA分解， 续图像之间存在大量相似的背景信息，帧与帧之间 所得到的独立块特征就是基于ICA的视频独立块 的区别主要是通过相对运动信息来表征的.这些背 特征的表示.文献[10]通过实验证明这些独立块特 景信息和相对运动信息在统计上是相互独立的，可 征与人类感知视觉中大脑皮层细胞所呈现的滤波器 以通过ICA技术从相邻的帧图像中分别提取出来. 非常类似.图9是视频独立块特征的提取框架， 由此就产生了基于连续帧动态分量的第2种视频的 在进行三维块特征提取时，首先要将视频进行 表示方法。 时间上的分段，即要确定视频块在时间上的跨度，然 假设视频中某连续的2帧图像分别为x()和 后才在空间上分块.视频在进行MPEG压缩时，通 xr-),它们的背景信息s-1)称为静态分量，它们 常按照COP(group of picture,COP)结构来对视频帧 之间的相对运动信息5w称为运动分量.和 分类进行不同的压缩处理，一般G0P中包括3类 xr:-可以看做是Sr-)和S()线性叠加的结果： 帧]：I帧、P帧和B帧.视频压缩中最常用的一种 G0P结构如图10所示. [A] F(-I)