2.1.2随机矢量描述信源消息符号集A与概率测度0 ≤P(ai)≤1,（i=1,2,.,)构成一个概率空间a2「Xl（ai[P(x)] =(p(α),p(α2)…,p(ag))正、由信源空间[X,P(x)1描述的信源X为离散无记忆信源。。特点：信源不同时刻发出符号之间无依赖、彼此统计独立。，信源X所输出的随机矢量所描述的信源XN为离散无记忆信源X的N次扩展信源11/159信息论与编码技术离散信源及其信息测度
信息论与编码技术-离散信源及其信息测度 11/159 符号集A与概率测度 𝟎 ≤ 𝑷 𝒂𝒊 ≤ 𝟏, (𝒊 = 𝟏, 𝟐, . , 𝒒) 构成一个概率空间 由信源空间[𝑋, 𝑃(𝑥)]描述的信源𝑋为离散无记忆信 源。 ◦ 特点：信源不同时刻发出符号之间无依赖、彼此统计独立。 信源𝑋所输出的随机矢量所描述的信源𝑋𝑁为离散无 记忆信源𝑋的𝑁次扩展信源 𝑋 𝑃(𝑥) = 𝑎1 𝑎2 ⋯ , 𝑎𝑞 𝑝(𝑎1 ), 𝑝(𝑎2 ) ⋯ , 𝑝(𝑎𝑞 )
2.1.2随机失量描述信源消息离散无记忆信源X的N次扩展信源的数学模型是X信源空间的N重空间[XN[β1,β2′...,βqN[P(βi)][P(β1), P(β2),..., P(β.N)βi=(aiai..ain）(i,i2...,in=1,2...,q)并满足0 ≤P(βi)≤1, P(βi) = P(ai,aiz...ain)= /P(ain)gNN之 P(ai)=1=1k=112/159信息论与编码技术一离散信源及其信息测度
信息论与编码技术-离散信源及其信息测度 12/159 𝑋 𝑁 𝑃(𝛽𝑖 ) = 𝛽1 , 𝛽2 , . . . , 𝛽𝑞 𝑁 𝑃(𝛽1 ), 𝑃(𝛽2 ), . . . , 𝑃(𝛽𝑞 𝑁 ) 𝛽𝑖 = (𝑎𝑖1 𝑎𝑖2 . . . 𝑎𝑖𝑁 ) (𝑖1 ,𝑖2 ,. . . ,𝑖𝑁 = 1,2, . . . , 𝑞) 并满足 0 ≤ 𝑃(𝛽𝑖 ) ≤ 1, 𝑃(𝛽𝑖 ) = 𝑃(𝑎𝑖1 𝑎𝑖2 . . 𝑎𝑖𝑁 ) = ෑ 𝑘=1 𝑁 𝑃(𝑎𝑖𝑘 ) , 𝑖=1 𝑞 𝑁 ෑ 𝑘=1 𝑁 𝑃(𝑎𝑖𝑘 ) = 1 离散无记忆信源 𝑋的𝑁次扩展信源的数学模型 是𝑋信源空间的𝑁重空间
2.1.2随机矢量描述信源消息、离散有记忆信源。信源输出的平稳离散随机序列x=(X,X.X~)中，各随机变量X.间是相互依赖的。。例如：汉字组成的中文语句，其中各个汉字相互依赖13/159信息论与编码技术一离散信源及其信息测度
信息论与编码技术-离散信源及其信息测度 13/159 离散有记忆信源 ◦ 信源输出的平稳离散随机序列X=(X1X2.XN )中，各随机变量 Xi间是相互依赖的。 ◦ 例如：汉字组成的中文语句，其中各个汉字相互依赖
2.1.2随机失量描述信源消息m阶马尔科夫信源记忆长度为m+1的信源，即信源每次发出的符号只与前面m个符号有关，与更前面的符号无关。假设为X=XiX2..Xi-1X;Xi+1...Xn，i时刻的随机变量X取什么符号只与前m个随机变量Xi-1Xi-2...Xi-m的取值有关。设各时刻随机变量X的取值为xkEXk,k=12,.,i-1,ii+1,.,N,则随机序列中各随机变量之间的依赖关系为：P(xil...Xi+2Xi+1Xi-1xi-2...Xi-m...x1)= P(xilxi-1xi-2...Xi-m)((i = 1,2,..., N)如果上述条件概率与时间起点无关，则输出符号序列为时齐马尔科夫链，信源即为时齐马尔科夫信源。14/159信息论与编码技术一离散信源及其信息测度
信息论与编码技术-离散信源及其信息测度 14/159 m阶马尔科夫信源 记忆长度为m+1的信源，即信源每次发出的符号只与前面m个符 号有关，与更前面的符号无关。 假设为X=X1X2.Xi-1XiXi+1.XN, i时刻的随机变量Xi取什么符号只与前 m个随机变量Xi-1Xi-2.Xi-m的取值有关。设各时刻随机变量Xk的取 值为𝑥𝑘 ∈ 𝑿𝒌, 𝑘 = 1,2,. ,𝑖 − 1,𝑖,𝑖 + 1, . , 𝑁, 则随机序列中各随机 变量之间的依赖关系为： 如果上述条件概率与时间起点i无关，则输出符号序列为时齐马 尔科夫链，信源即为时齐马尔科夫信源。 𝑃(𝑥𝑖 |. . . 𝑥𝑖+2𝑥𝑖+1𝑥𝑖−1𝑥𝑖−2. . . 𝑥𝑖−𝑚. . . 𝑥1) = 𝑃 𝑥𝑖 𝑥𝑖−1𝑥𝑖−2. . . 𝑥𝑖−𝑚 (𝑖 = 1,2, . . . , 𝑁)
2.1.2随机失量描述信源消息、连续平稳信源。连续平稳有记忆信源。连续平稳无记忆信源15/159信息论与编码技术一离散信源及其信息测度
信息论与编码技术-离散信源及其信息测度 15/159 连续平稳信源 ◦ 连续平稳有记忆信源 ◦ 连续平稳无记忆信源