2.1.1随机变量描述信源消息 该类信源特点: 输出都是单个符号的消息,符号集取值有限或可数 维离散型随机变量X描述,即离散信源。 数学模型:单符号离散型概率空间 X P(X」(p(x1),p(x)…,p(x) 0≤(x)≤1,∑px)=1 一随机变量,指的是信源整体 x1一随机事件的某一结果或信源的某个元素(消息) p(x)=PX=x)=随机事件X发生某一结果x的概率 是有限正整数或可数无限大 mfy@ustc.edu.cn 息论与编码技术离散信源及其信息测度 6/159
mfy@ustc.edu.cn 信息论与编码技术-离散信源及其信息测度 6/159 该类信源特点： ◦ 输出都是单个符号的消息，符号集取值有限或可数 ◦ 一维离散型随机变量X描述，即离散信源。 数学模型：单符号离散型概率空间 X — 随机变量，指的是信源整体 xi — 随机事件的某一结果或信源的某个元素（消息） p(xi )=P(X=xi ) — 随机事件X 发生某一结果xi 的概率。 n 是有限正整数或可数无限大 0 ( ) 1 ( ) 1 1 = = n i i i p x ， p x = ( ), ( ) , ( ) , ( ) 1 2 1 2 n n p x p x p x x x x P X X
2.1.1随机变量描述信源消息 2)一维连续信源 丶连续信源:如语音信号某时间的连续取值数据 一维连续型随机变量X描述 数学模「X1=「(a,b) R 或 P(r) b(r> p(r) 满足」p(xdx=1或|(x)dx=1 R R为实数集,p(×)为连续型随机变量的X的密度函数,概率空间满足完备性。 0(0 ash mfy@ustc.edu.cn 息论与编码技术离散信源及其信息测度 7/159
mfy@ustc.edu.cn 信息论与编码技术-离散信源及其信息测度 7/159 2）一维连续信源 连续信源：如语音信号某时间的连续取值数据 一维连续型随机变量X描述 数学模型为连续型概率空间 满足 R为实数集,p(x)为连续型随机变量的X的密度函数，概率空间满足完备性
2.1.2随机矢量描述信源消息 适用场景: 0信源输出的消息由一系列符号序列组成,其中每个符号的 出现是不确定的、随机的。 例子: 中文自然语言作为信源:中文信源的样本空间A为所有汉 字和标点符号的集合。汉字和标点符号构成的序列即为中 文句子和文章(即消息)。注意:每个汉字和标点符号的 出现时随机、不确定的。 特点: 信源输出的消息为按一定概率选取的符号序列,时间或空 间上离散的一系列随机变量(随机矢量) ash mfy@ustc.edu.cn 息论与编码技术离散信源及其信息测度 8/159
mfy@ustc.edu.cn 信息论与编码技术-离散信源及其信息测度 8/159 适用场景： ◦ 信源输出的消息由一系列符号序列组成，其中每个符号的 出现是不确定的、随机的。 例子： ◦ 中文自然语言作为信源: 中文信源的样本空间A为所有汉 字和标点符号的集合。汉字和标点符号构成的序列即为中 文句子和文章（即消息）。注意：每个汉字和标点符号的 出现时随机、不确定的。 特点： ◦ 信源输出的消息为按一定概率选取的符号序列，时间或空 间上离散的一系列随机变量（随机矢量）
2.1.2随机矢量描述信源消息 消息的描述:N维随机矢量x=(X1X2X,N为有限 正整数或可数的无限值,X为离散随机变量。 离散平稳信源: 信源输出随机矢量=(X1X2X,其中的每个离散型随机 变量X在任意两个不同的时刻分布相同。即X的各维概率 分布都与时间起点无关-任意两个不同的时刻随机矢量X 的各维概率分布相同 连续平稳信源 信源输出消息可用N维随机矢量化=(X1X2…X描述,每 个随机分量取值为连续的连续型随机变量,且化的各维概 率密度函数与时间起点无关。 ash mfy@ustc.edu.cn 息论与编码技术离散信源及其信息测度 9/159
mfy@ustc.edu.cn 信息论与编码技术-离散信源及其信息测度 9/159 消息的描述：N维随机矢量X =(X1X2…XN), N为有限 正整数或可数的无限值, Xi为离散随机变量。 离散平稳信源： ◦ 信源输出随机矢量X =(X1X2…XN), 其中的每个离散型随机 变量Xi在任意两个不同的时刻分布相同。即X的各维概率 分布都与时间起点无关--任意两个不同的时刻随机矢量X 的各维概率分布相同。 连续平稳信源 ◦ 信源输出消息可用N维随机矢量X =(X1X2…XN),描述，每 个随机分量取值为连续的连续型随机变量，且X的各维概 率密度函数与时间起点无关
2.1.2随机矢量描述信源消息 平稳信源: 0无记忆信源,有记忆信源 离散无记忆信源 信源输出的随机矢量(X1X2…X)中,各个离散型随机 变量X之间的无依赖、统计独立的。即 P(x=P(X,X2.XN)=P(XDP2(X2). PN(XN=I,P(X) (因为是平稳信源,即P1(X1=P2(X2)=…=PNX)) 。如果各个离散随机变量X取值于同一符号集A:{a12,a Px=a)=P(a1a2a、)=∏=P(an) G=(a2an2.a1)为N维随机矢量一个取值,P(an)为符号集A的 维概率分布 0(0 ash mfy@ustc.edu.cn 息论与编码技术离散信源及其信息测度 10/159
mfy@ustc.edu.cn 信息论与编码技术-离散信源及其信息测度 10/159 平稳信源： ◦ 无记忆信源，有记忆信源 离散无记忆信源 ◦ 信源输出的随机矢量X=(X1X2…XN) 中，各个离散型随机 变量Xi之间的无依赖、统计独立的。即 P(X)=P(X1X2…XN) =P1 (X1 ) P2 (X2 )… PN(XN)= （因为是平稳信源，即P1 (X1 )= P2 (X2 )=… =PN(XN)。） ◦ 如果各个离散随机变量Xi取值于同一符号集A：{a1 ,a2 ,…aq} ◦ 为N维随机矢量一个取值， 为符号集A的 一维概率分布 = N i Xi 1 P( ) = = = = N i i i i k i N k P(x ) P(a a ...a ) 1 P(a ) 1 2 i = (ai1 ai2 ...aiN ) P(aik )