《并行计算》课程教学资源（讲义）快速傅氏变换和离散小波变换

10快速傅氏变换和离散小波变换 长期以来,快速傅氏变换( Fast fourier transform)和离散小波变换( Discrete Wavelet ansform)在数字信号处理、石油勘探、地震预报、医学断层诊断、编码理论、量子物理及 概率论等领域中都得到了广泛的应用。各种快速傅氏变换(FFT)和离散小波变换(DWT算法 不断出现,成为数值代数方面最活跃的一个研究领域,而其意义远远超过了算法研究的范围, 进而为诸多科技领域的研究打开了一个崭新的局面。本章分别对FFT和DWT的基本算法作 了简单介绍,若需在此方面做进一步研究,可参考文献(2]。 1.1快速傅里叶变换FFT 离散傅里叶变换是20世纪60年代是计算复杂性研究的主要里程碑之一,1965年 Cooley 和 Tukey所研究的计算高散傅里叶变换 Discrete Fourier Test))的快速傅氏变换(FF1将计算量 从O(m2)下降至O( nlogn,推进了FFT更深层、更广法的研究与应用。FT算法有很多版本, 但大体上可分为两类:迭代法和递归法,本节仅讨论迭代法,递归法可参见文献[1l、[2]。 1.1.1串行FFT选代算法 假定a[0]d1l…anl]为一个有限长的输入序列,b[0],b1l,…b{-1为离散傅里叶 变换的结果序列,则有:研]=∑k(k=012-,n-1),其中Wn=en,实际上,上式可 写成矩阵W和向量a的乘积形式: 10w1w2 =0w2w4 12(m-1) 0(n-)2(n-1)…w(n-Xn-)‖a 般的n阶矩阵和n维向量相乘,计算时间复杂度为n2,但由于W是一种特殊矩阵 故可以降低计算量。FFT的计算流图如图1.1所示,其串行算法如下: 算法221单处理器上的FFI迭代算法 输入:a=(aa,…,an1) 输 (I)for k=0 to n-l Ck-ak (2)for h=logn-I downtoN do (2.3)=nm2

1. 10 快速傅氏变换和离散小波变换 长期以来，快速傅氏变换(Fast Fourier Transform)和离散小波变换(Discrete Wavelet Transform)在数字信号处理、石油勘探、地震预报、医学断层诊断、编码理论、量子物理及 概率论等领域中都得到了广泛的应用。各种快速傅氏变换(FFT)和离散小波变换(DWT)算法 不断出现，成为数值代数方面最活跃的一个研究领域，而其意义远远超过了算法研究的范围， 进而为诸多科技领域的研究打开了一个崭新的局面。本章分别对 FFT 和 DWT 的基本算法作 了简单介绍，若需在此方面做进一步研究，可参考文献[2]。 1.1 快速傅里叶变换 FFT 离散傅里叶变换是 20 世纪 60 年代是计算复杂性研究的主要里程碑之一，1965 年 Cooley 和 Tukey 所研究的计算离散傅里叶变换(Discrete Fourier Test)的快速傅氏变换(FFT)将计算量 从 О(n 2 )下降至 О(nlogn)，推进了 FFT 更深层、更广法的研究与应用。FFT 算法有很多版本， 但大体上可分为两类：迭代法和递归法，本节仅讨论迭代法，递归法可参见文献[1]、[2]。 1.1.1 串行 FFT 迭代算法 假定 a[0],a[1], …,a[n-1] 为一个有限长的输入序列，b[0], b[1], …,b[n-1]为离散傅里叶 变换的结果序列，则有： [ ] [ ] ( 0,1,2,..., 1) 1 0 =  = − − = b k a k W k n n m km n ，其中 W n i n e 2 = ，实际上，上式可 写成矩阵 W 和向量 a 的乘积形式：                                 =                 − − − − − − − − 1 2 1 0 0 ( 1) 2( 1) ( 1)( 1) 0 2 4 2( 1) 0 1 2 1 0 0 0 0 1 2 1 0 n n n n n n n n a a a a w w w w w w w w w w w w w w w w b b b b            一般的 n 阶矩阵和 n 维向量相乘，计算时间复杂度为 n 2，但由于 W 是一种特殊矩阵， 故可以降低计算量。FFT 的计算流图如图 1.1 所示，其串行算法如下： 算法 22.1 单处理器上的 FFT 迭代算法 输入：a=(a0,a1, …,an-1) 输出：b=(b0,b1, …,bn-1) Begin (1)for k=0 to n-1 do ck=ak end for (2)for h=logn-1 downto 0 do (2.1) p=2h (2.2) q=n/p (2.3) z=w q/2

(2. 4)for k=0 to n-l do if(k mod P=k mod2p) then (Ick=Ck+ Ck+p (i)lx+2=(ck-ck+p)kmo/*c不用()计算的新值* (3)for k-l to n-l do bn(6)=Ck/r(k)为k的位反* end fo 图1.1n=4时的FFT蝶式变换图 显然,FFT算法的计算复杂度为 O(nlogn)。 1.12并行FFT算法 设P为处理器的个数,一种并行FFT实现时是将n维向量a划分成p个连续的m维子 向量,这里m=「n/p,第i个子向量中下标为ⅸ×m,…,(计+1)×m-1,其元素被分配至第i 号处理器(=0,1,…,P1)。由图1.1可以看到,FFT算法由logn步构成,依次以21、 22、…、2、1为下标跨度做蝶式计算,我们称下标跨度为2"的计算为第h步(h=logn-l, logn-2,…,1,0)。并行计算可分两阶段执行:第一阶段,第logn-1步至第logm步,由于下 标跨度h≥m,各处理器之间需要通信:第二阶段,第logm-1步至第0步各处理器之间不 需要通信。具体并行算法框架描述如下: 算法222FFT并行算法 输入:a=(anan,…am1) 输出:b=(bb,…bn-) 对所有处理器 my rank( my rank=0,…,p-1)同时执行如下的算法 (I)for h=logp-I downton do

(2.4) for k=0 to n-1 do if (k mod p=k mod2p) then (i)ck = ck + ck +p (ii)ck +p=( ck - ck +p)z k modp /* ck 不用(i)计算的新值 */ end if end for end for (3)for k=1 to n-1 do br(k) = ck /* r(k)为 k 的位反 */ end for End a 0 a 1 a 2 a 3 a 4 a 5 a 6 a 7 b 0 b 4 b 2 b 6 b 1 b 5 b 3 b 7 0 0 0 0 0 0 2 2 1 2 3 0 图 1.1 n=4 时的 FFT 蝶式变换图 显然, FFT 算法的计算复杂度为 O(nlogn)。 1.1.2 并行 FFT 算法 设 P 为处理器的个数，一种并行 FFT 实现时是将 n 维向量 a 划分成 p 个连续的 m 维子 向量，这里 m = n / p ，第 i 个子向量中下标为 i×m, …, (i+1)×m-1，其元素被分配至第 i 号处理器（i=0,1, …, p-1）。由图 1.1 可以看到，FFT 算法由 logn 步构成，依次以 2 logn-1、 2 logn-2、…、2、1 为下标跨度做蝶式计算，我们称下标跨度为 2 h 的计算为第 h 步（h=logn-1, logn-2, …, 1, 0）。并行计算可分两阶段执行：第一阶段，第 logn-1 步至第 logm 步，由于下 标跨度 h≥ m，各处理器之间需要通信；第二阶段，第 logm-1 步至第 0 步各处理器之间不 需要通信。具体并行算法框架描述如下： 算法 22.2 FFT 并行算法 输入：a=(a0,a1, …,an-1) 输出：b=(b0,b1, …,bn-1) Begin 对所有处理器 my_rank(my_rank=0,…, p-1)同时执行如下的算法: (1)for h=logp-1 downto 0 do

/*第一阶段,第logn-l步至第logm步各处理器之间需要通信* 1.1)F=2,=2g),q=m,=n92,j=+1,1=2/开始户=0* (.2)if((my rank mod n=(my rank mod 2n)) then /*本处理器的数据作为变换的前项数据* (i)接收由号处理器发来的数据块,并将接收的数据块存于 cmy rank*mm/到 cmy rank*m+ny+m之中 (infor k-=0 to m-I do c{灯]=c[幻]+c[+m c[k+m/=(c灯]-c[k+m)*吗m end for (iv)将存于c[ my rank*m+m小到 cmy rank*m+m+m]之中的数据块发送 到t号处理器 else/*本处理器的数据作为变换的后项数据* (V)将存于之中的数据块发送到 my rank-p/号处理器 ()接收由 my rank-p/v号处理器发来的数据块存于c中 (2) for i=logn- I downto o do/*第二阶段,第logm-1步至第0步各处理器之间 不需要通信* (2.1)=2 (2. 2)for k=0 to m-l do if((k mod /=(k mod 2D)) ck=ck+ck+/ c[+/=(c-c[+门)* my rank.m+h) mod I end if nd f 由于各处理器对其局部存储器中的m维子向量做变换计算,计算时间为mogn;点对 点通信2logp次,每次通信量为m,通信时间为2(;+mr)logp,因此快速傅里叶变换的并 行计算时间为Tp= m logn+2(y+mr) log po MPI源程序请参见章末附录。 12离散小波变换DWT 121离散小波变换DWT及其串行算法 先对一维小波变换作一简单介绍。设(x)为一维输入信号,记中k(x)=2-122-1x-k), (x)=212(2x-k),这里x)与v(x)分别称为定标函数与子波函数,(x)}与

/* 第一阶段，第 logn-1 步至第 logm 步各处理器之间需要通信*/ (1.1) t=2i, ,l=2(i+logm) ,q=n/l , z=w q/2 , j= j+1 ,v=2j /*开始 j=0*/ (1.2)if ((my_rank mod t)=(my_rank mod 2t)) then /*本处理器的数据作为变换的前项数据*/ (i) tt= my_rank+p/v (ii)接收由 tt 号处理器发来的数据块，并将接收的数据块存于 c[my_rank*m+n/v]到 c[my_rank*m+n/v+m]之中 (iii)for k=0 to m-1 do c[k]=c[k]+c[k+n/v] c[k+n/v]=( c[k]- c[k+n/v])*z (my_rank*m+k) mod l end for (iv)将存于 c[my_rank*m+n/v]到 c[my_rank*m+n/v+m]之中的数据块发送 到 tt 号处理器 else /*本处理器的数据作为变换的后项数据*/ (v)将存于之中的数据块发送到 my_rank-p/v 号处理器 (vi)接收由 my_rank-p/v 号处理器发来的数据块存于 c 中 end if end for (2)for i=logm-1 downto 0 do /*第二阶段，第 logm-1 步至第 0 步各处理器之间 不需要通信*/ (2.1) l=2i ,q=n/l , z=w q/2 (2.2)for k=0 to m-1 do if ((k mod l)=(k mod 2l)) then c[k]=c[k]+c[k+l] c[k+l]=( c[k]- c[k+l])*z (my_rank*m+k) mod l end if end for end for End 由于各处理器对其局部存储器中的 m 维子向量做变换计算，计算时间为 mlog n ；点对 点通信 2log p 次，每次通信量为 m，通信时间为 2(ts + mtw)log p ，因此快速傅里叶变换的并 行计算时间为 Tp = mlog n + 2(ts + mt w )log p 。 MPI 源程序请参见章末附录。 1.2 离散小波变换 DWT 1.2.1 离散小波变换 DWT 及其串行算法 先对一维小波变换作一简单介绍。设 f(x)为一维输入信号，记 ( ) 2 (2 ) / 2 x x k j j jk = − − −   ， ( ) 2 (2 ) / 2 x x k j j jk = − − −   ，这里 (x) 与 (x) 分别称为定标函数与子波函数， { (x)}  jk 与

{vA(x)}为二个正交基函数的集合。记Pf千,在第j级上的一维离散小波变换 DWT(Discrete Wavelet transform)通过正交投影Pf与Qf将P分解为: 其中:c=2hnl2k+n,d=2g(nl2kn(=12,-,Lk=0.1-,N/2-1),这里,{h(m) 与{g(m)}分别为低通与高通权系数,它们由基函数钟9(x)与{(x)来确定,P为权系数 的长度。{C}为信号的输入数据,N为输入信号的长度,L为所需的级数。由上式可见 每级一维DWT与一维卷积计算很相似。所不同的是:在DWT中,输出数据下标增加1时 权系数在输入数据的对应点下标增加2,这称为“间隔取样”。 算法223一维高散小波变换串行算法 输入:c=d(co,c1…,cN h1,…,h- g=(80g1,…,.g 输出:c,d(i=0.1,…,MV,j≥0) (1)=0.n=N (2) While(n≥1)do (2. 1.2)for k=0 to L-Ido h k+ 2i)mmd n? d+=d++ k +2i)md n end while 显然,算法22.3的时间复杂度为O∧N*)。 在实际应用中,很多情况下采用紧支集小波( Compactly Supported Wavelets),这时相 应的尺度系数和小波系数都是有限长度的,不失一般性设尺度系数只有有限个非零值 h,…,hw,N为偶数,同样取小波使其只有有限个非零值:g1;…gN。为简单起见,设尺度系 数与小波函数都是实数。对有限长度的输入数据序列:c0=xn,n=12,…,M(其余点的值都 看成0),它的离散小波变换为 =∑cn

{ (x)}  jk 为二个正交基函数的集合。记P0f=f，在第 j 级上的一维离散小波变换 DWT(Discrete Wavelet Transform)通过正交投影 Pjf 与 Qjf 将 Pj-1f 分解为： − = + =  + k k jk j jk k j Pj 1 f Pj f Qj f ck d  其中： =  − = − + 1 0 1 2 ( ) p n j k n j k c h n c ， =  − = − + 1 0 1 2 ( ) p n j k n j k d g n c ( = 1,2,..., , = 0,1,..., 2 −1) j j L k N ，这里，{h(n)} 与{g(n)}分别为低通与高通权系数，它们由基函数 { (x)}  jk 与 { (x)}  jk 来确定，p 为权系数 的长度。 { } 0 Cn 为信号的输入数据，N 为输入信号的长度，L 为所需的级数。由上式可见， 每级一维 DWT 与一维卷积计算很相似。所不同的是：在 DWT 中，输出数据下标增加 1 时， 权系数在输入数据的对应点下标增加 2，这称为“间隔取样”。 算法 22.3 一维离散小波变换串行算法 输入：c 0=d0 (c0 0 , c1 0 ,…, cN-1 0 ) h=(h0, h1,…, hL-1) g=(g0, g1,…, gL-1) 输出：ci j , di j (i=0, 1,…, N/2j-1 , j≥0) Begin (1)j=0, n=N (2)While (n≥1) do (2.1)for i=0 to n-1 do (2.1.1)ci j+1=0, di j+1=0 (2.1.2)for k=0 to L-1 do j k k i n j i j i j k ( k i) n j i j ci c h c d d g d( 2 )mod 1 1 2 mod 1 1 , + + + + + + = + = + end for end for (2.2)j=j+1, n=n/2 end while End 显然，算法 22.3 的时间复杂度为 O(N*L)。 在实际应用中，很多情况下采用紧支集小波（Compactly Supported Wavelets），这时相 应的尺度系数和小波系数都是有限长度的，不失一般性设尺度系数只有有限个非零值： h1,…,hN，N 为偶数，同样取小波使其只有有限个非零值：g1,…,gN。为简单起见，设尺度系 数与小波函数都是实数。对有限长度的输入数据序列： cn xn ,n 1,2, ,M 0 = =  (其余点的值都 看成 0)，它的离散小波变换为: n k n Z j n j ck c h 2 1 −  + =  n k n Z j n j dk c g 2 1 −  + = 

其中J为实际中要求分解的步数,最多不超过log2M,其逆变换为 ch-= I ckhm-2k+I ckhm-2k j=J,…l1 注意到尺度系数和输入系列都是有限长度的序列,上述和实际上都只有有限项。若完全 按照上述公式计算,在经过J步分解后,所得到的+1个序列d1,j=01…,J-1和ck的 非零项的个数之和一般要大于M,究竟这个项目增加到了多少?下面来分析一下上述计算 过程。 =0时计算过程为 不难看出 以的非零值范围为:A-+10-121即有 k=-~-1+「M1-「+N-个非零值。d的非零值范围相同。继续往下分解时,非零项出 现的规律相似。分解多步后非零项的个数可能比输入序列的长度增加较多。例如,若输入序 列长度为10,0N=4,则d有51项非零,d有27项非零,d有15项非零,d有9项非 零,d有6项非零,有4项非零,c有4项非零。这样分解到6步后得到的序列的非 零项个数的总和为116,超过了输入序列的长度。在数据压缩等应用中,希望总的长度基本 不增加,这样可以提高压缩比、减少存储量并减少实现的难度 可以采用稍微改变计算公式的方法,使输出序列的非零项总和基本上和输入序列的非零 项数相等,并且可以完全重构。这种方法也相当于把输入序列进行延长(增加非零项),因 而称为延拓法。 只需考虑一步分解的情形,下面考虑第一步分解(=1)。将输入序列作延拓,若M为偶 数,直接将其按M为周期延拓:若M为奇数,首先令xM+1=0。然后按M+l为周期延拓。 作了这种延拓后再按前述公式计算,相应的变换矩阵已不再是H和G,事实上这时的变换 矩阵类似于循环矩阵。例如,当M=8,N4时矩阵H变为: h2h40000Ah2 hh2h3h20000 0000h2h3h h2h40000h2 当M=7,N=4时矩阵H变为:

j = 0,1,  , J −1 其中 J 为实际中要求分解的步数，最多不超过 log2M，其逆变换为 n k k Z j n k k k Z j k j cn c h 2 c h 2 1  −   −  − = + j = J ,  ,1 注意到尺度系数和输入系列都是有限长度的序列，上述和实际上都只有有限项。若完全 按照上述公式计算，在经过 J 步分解后，所得到的 J+1 个序列 d , j = 0,1, , J −1 j k  和 j k c 的 非零项的个数之和一般要大于 M，究竟这个项目增加到了多少？下面来分析一下上述计算 过程。 j=0 时计算过程为 n k M n ck xnh 2 1 1 − = =  n k M n dk xn g 2 1 1 − = =  不 难 看 出 ， 1 k c 的 非 零 值 范 围 为 ： 1, 2 1, , 1,0, , 2 −      = − + − N M k   即 有       + − =      = − − + 2 1 2 1 2 N M M N k 个非零值。 1 k d 的非零值范围相同。继续往下分解时，非零项出 现的规律相似。分解多步后非零项的个数可能比输入序列的长度增加较多。例如，若输入序 列长度为 100，N=4，则 1 k d 有 51 项非零， 2 k d 有 27 项非零， 3 k d 有 15 项非零， 4 k d 有 9 项非 零， 5 k d 有 6 项非零， 6 k d 有 4 项非零， 6 k c 有 4 项非零。这样分解到 6 步后得到的序列的非 零项个数的总和为 116，超过了输入序列的长度。在数据压缩等应用中，希望总的长度基本 不增加，这样可以提高压缩比、减少存储量并减少实现的难度。 可以采用稍微改变计算公式的方法，使输出序列的非零项总和基本上和输入序列的非零 项数相等，并且可以完全重构。这种方法也相当于把输入序列进行延长（增加非零项），因 而称为延拓法。 只需考虑一步分解的情形，下面考虑第一步分解(j=1)。将输入序列作延拓，若 M 为偶 数，直接将其按 M 为周期延拓；若 M 为奇数，首先令 xM +1 = 0 。然后按 M+1 为周期延拓。 作了这种延拓后再按前述公式计算，相应的变换矩阵已不再是 H 和 G，事实上这时的变换 矩阵类似于循环矩阵。例如，当 M=8，N=4 时矩阵 H 变为： 3 4 1 2 1 2 3 4 1 2 3 4 1 2 3 4 3 4 1 2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 h h h h h h h h h h h h h h h h h h h h 当 M=7，N=4 时矩阵 H 变为：