2.1.2随机矢量描述信源消息 符号集A与概率测度0≤P(an)≤1(=12…)构成 个概率空间 X P(r)tdr (a1),P(a2) P(a) 由信源空间{x,P(x)描述的信源为离散无记忆信源 特点:信源不同时刻发出符号之间无依赖、彼此统计独立。 信源所输出的随机矢量所描述的信源X为离散无 记忆信源X的N次扩展信源 0(0 ash mfy@ustc.edu.cn 息论与编码技术离散信源及其信息测度 11/159
mfy@ustc.edu.cn 信息论与编码技术-离散信源及其信息测度 11/159 符号集A与概率测度 构成一 个概率空间 由信源空间[X,P(x)]描述的信源X为离散无记忆信源。 ◦ 特点：信源不同时刻发出符号之间无依赖、彼此统计独立。 信源X所输出的随机矢量所描述的信源XN为离散无 记忆信源X的N次扩展信源 0 P(a ) 1,(i 1,2,...,q) i k k =
2.1.2随机矢量描述信源消息 离散无记忆信源X的N次扩展信源的数学模型 是离散无记忆信源X的N重空间 X本身也可以是随机矢量 P(ai)P(a), P(a2),,P(agk) 并满足 0≤P(a)≤1,P(c)=P(ana2a1)=∏k=1P(an) ∑∏k=1P(an)=1 0(0 ash mfy@ustc.edu.cn 息论与编码技术离散信源及其信息测度 12/159
mfy@ustc.edu.cn 信息论与编码技术-离散信源及其信息测度 12/159 = ( ), ( ),..., ( ) , , ..., ( ) N N q q i N P P P P X 1 2 1 2 ( ) 1 0 ( ) 1, ( ) ( ... ) ( ), ( ... ) ( , ,..., 1,2,..., ) 1 1 1 1 2 1 2 1 2 = = = = = = = = N k N k N q i N k i N i i i i i k i i i i i N P a P P P a a a P a a a a i i i q 并满足 离散无记忆信源X的N次扩展信源的数学模型 是离散无记忆信源X的N重空间 -X本身也可以是随机矢量
2.1.2随机矢量描述信源消息 →离散有记忆信源 。信源输出的平稳离散随机序列中,各随机变量X间是相 互依赖的 0例如:汉字组成的中文语句,其中各个汉字相互依赖 0(0 ash mfy@ustc.edu.cn 息论与编码技术离散信源及其信息测度 13/159
mfy@ustc.edu.cn 信息论与编码技术-离散信源及其信息测度 13/159 离散有记忆信源 ◦ 信源输出的平稳离散随机序列X中，各随机变量Xi间是相 互依赖的。 ◦ 例如：汉字组成的中文语句，其中各个汉字相互依赖
2.1.2随机矢量描述信源消息 m马尔科夫信源 记忆长度为m+1的信源,即信源每次发出的符号只与前面m个符 号有关,与更前面的符号无关。 假设为化=X1X2X1XX1…Xx,i时刻的随机变量X取什么符号 只与前m个随机变量XX2…Xm的取值有关。设各时刻随机变 量X的取值为x∈Xk=12,…j-1,i+1N,则随机序列中各随 机变量之间的依赖关系为: x1+2X1+1V1-1x1-2…x1-m…x1 x i-1叭i-2 I-m )(i=1,2,,N) 如果上述条件概率与时间起点关,则输出符号序列为时齐马 尔科夫链,信源即为时齐马尔科夫信源。 0(0 ash mfy@ustc.edu.cn 息论与编码技术离散信源及其信息测度 14/159
mfy@ustc.edu.cn 信息论与编码技术-离散信源及其信息测度 14/159 m马尔科夫信源 记忆长度为m+1的信源，即信源每次发出的符号只与前面m个符 号有关，与更前面的符号无关。 假设为X=X1X2…Xi-1XiXi+1…XN, i时刻的随机变量Xi取什么符号 只与前m个随机变量Xi-1Xi-2…Xi-m的取值有关。设各时刻随机变 量Xk的取值为 ,则随机序列中各随 机变量之间的依赖关系为： 如果上述条件概率与时间起点i无关，则输出符号序列为时齐马 尔科夫链，信源即为时齐马尔科夫信源。 xk Xk ,k =1,2,...,i −1,i,i +1,...,N ( |... ... ) ( , ,..., ) ( |... ... ... ) P x x x x i N P x x x x x x x i i i i m i i i i i i m 1 2 1 2 2 1 1 2 1 = − − − = + + − − −
2.1.2随机矢量描述信源消息 连续平稳信源 连续平稳有记忆信源 连续平稳无记忆信源 0(0 ash mfy@ustc.edu.cn 息论与编码技术离散信源及其信息测度 15/159
mfy@ustc.edu.cn 信息论与编码技术-离散信源及其信息测度 15/159 连续平稳信源 ◦ 连续平稳有记忆信源 ◦ 连续平稳无记忆信源