信源及其分类 信源就是信息的来源 在一个固定的时刻,信源发出的是一个随机变量 随着时间的延续,信源发出的是一个随机过程
信源及其分类 信源就是信息的来源 ◼ 在一个固定的时刻，信源发出的是一个随机变量 ◼ 随着时间的延续，信源发出的是一个随机过程
信源及其分类 离散信源信源每隔一个定长时间段就发出一个随机变量; 随着时间的延续,信源发出的是随机变量序列 U.2U1U0U/1U2., 其中 Uk为第k个时间段发出的随机变量; 每个U都是一个离散型的随机变量 离散无记忆信源离散无记忆信源是这样的离散信源:随 机变量、U2 、L1L2、~相互独立。 离散无记忆简单信源离散无记忆简单信源是这样的离散 无记忆信源:随机变量、U2、U1L、U12 县有相同的概率分布
信源及其分类 离散信源 信源每隔一个定长时间段就发出一个随机变量； 随着时间的延续，信源发出的是随机变量序列 …U-2U-1U0U1U2…， 其中 ◼ Uk为第k个时间段发出的随机变量； ◼ 每个Uk都是一个离散型的随机变量。 离散无记忆信源 离散无记忆信源是这样的离散信源：随 机变量…、U-2、U-1、U0、U1、U2、…相互独立。 离散无记忆简单信源 离散无记忆简单信源是这样的离散 无记忆信源：随机变量…、U-2、U-1、U0、U1、U2、… 具有相同的概率分布
信源及其分类 ■离散无记忆简单信源就是时间离散、事 件离散、各随机变量独立同分布的信源
信源及其分类 总结 ◼ 离散无记忆简单信源就是时间离散、事 件离散、各随机变量独立同分布的信源
信源及其分类 ■连续信源:有时间连续的信源,也有事件连续 的信源 有记忆信源:信源在不同时刻发出的随机变量 相互依赖 ■有限记忆信源:在有限时间差内的信源随机变 量相互依赖 ■非简单信源:信源在不同时刻发出的随 机变量具有不同的概率分布 ■马尔可夫信源:信源随机过程是马尔可 夫过程
信源及其分类 ◼ 连续信源：有时间连续的信源，也有事件连续 的信源 ◼ 有记忆信源：信源在不同时刻发出的随机变量 相互依赖 ◼ 有限记忆信源：在有限时间差内的信源随机变 量相互依赖 ◼ 非简单信源：信源在不同时刻发出的随 机变量具有不同的概率分布 ◼ 马尔可夫信源：信源随机过程是马尔可 夫过程
离散无记忆(简单)信源的等长编码 ■设有一个离散无记忆简单信源,信源发出的随机变量 序列为:U2U1U01 设信源随机变量U1的事 件有K个:{a1,a2,…,ak},则L维信源随机向量 U1U2U)的事件有K个: (l4l2)其中每个分量u跑遍{a13a2,…,ak} 设有一个含D个字母的字母表{b1,b2,…,b}。需要用 字母串来表示(U1U2UL)的事件,每一个事件都要用 个字母串来表示。 这种表示方法称为D元编码; 每一个事件所对应的字母串称为一个码字
离散无记忆（简单）信源的等长编码 ◼ 设有一个离散无记忆简单信源，信源发出的随机变量 序列为：…U-2U-1U0U1U2…。设信源随机变量U1的事 件有K个：{a1 , a2 , …, aK}，则L维信源随机向量 (U1U2…UL )的事件有KL个： {(u1u2…uL )|其中每个分量ul跑遍{a1 , a2 , …, aK}}。 ◼ 设有一个含D个字母的字母表{b1 , b2 , …, bD}。需要用 字母串来表示(U1U2…UL )的事件，每一个事件都要用 一个字母串来表示。 ◼ 这种表示方法称为D元编码； 每一个事件所对应的字母串称为一个码字