复旦大学：《通信原理（A）》PPT教学课件_2016_10 第十章 信道容量

通信原理讲义 前言 ■之前的内容 数字系统的基本原理 口数字调制与解调的方法 第十章信道容量 口数字系统在噪声环境中的性能分析 ■还没有解决的问题 口数字系统的极限是什么? 口有限功率下,有限信道带宽中可靠传输的最大 传输速率 zhuyu@fudan.edu.cn k手 最佳接收机的误码率性能 BPSK的误码率 进制误码率公式 ■星座图E=E s2(0 S E ■误码率的上界 ()=√Eo( erfc(x)<2e, x>0 l(0)=-√E0(( cos(271),0≤t≤Tb (d2n l 4N(4A丿 P==erfc erfc expl 4N2 N 後照大手 後照k季D

通信原理讲义 zhuyu@fudan.edu.cn 第十章 信道容量 前言 ◼ 之前的内容 数字系统的基本原理 数字调制与解调的方法 数字系统在噪声环境中的性能分析 ◼ 还没有解决的问题 数字系统的极限是什么? 有限功率下, 有限信道带宽中可靠传输的最大 传输速率 2 最佳接收机的误码率性能 ◼ 二进制误码率公式 01 01 1 2 1 2 1 , where e d 2 2 4N   d 2 P = erfc = E + E − 2 E E    0  ◼ 误码率的上界 erfc( x)  2e− x 2 , x  0 1 2 d 2 d 2     Pe = erfc  01  exp − 01    4N0   4N0  BPSK的误码率 ◼ 星座图 (t) s1 (t) 2 b b cos(2fc t), T s1 (t)= Eb(t)  (t)= 0  t Tb  ,  s (t)=− E  (t) 2 b Eb 1 2 1 2 e d 2 E 4N N N     E  P = erfc  01 =    0   erfc b   exp − b   0   0  Eb =Es s2 (t) − E 3 4

可靠传输 信道容量是否存在? a Error-free communication or Reliable 在保证可靠传输(错误概率无限小)的前提下, communication 传输速率是否不趋于0(一个不为0的正数)? 口传输错误概率任意的小 ■信号功率P=E6R ■举例:考虑一个离散无记忆信道 实际系统发送功率有上限P≤Pp 0 为了降低错误概率, Before shannon P=erfc N <exp No P=P(decision=0 transmitted) 口牺牲传输速率R→>0 P(decision=1p transmitted) 重复编码—— Repetition Coding 重复编码的特点与存在的问题 001 ■在所有编码序列中,只有两个与信息b对应 0→000 111 ■被占用的“顶点”越少,它们之间的距离 就越能被拉开,错误概率就越低 010 ■为了降低错误概率,就必须增加编码序列长 100 110 000 度,导致bt速率降低 ■是否存在更高效的编码方式? 後照大手 後k手哪

可靠传输 牺牲传输速率 max ◼ 为了降低错误概率, BeforeShannon ◼ Error-free communication, or Reliable communication 传输错误概率任意的小 ◼信号功率 P = EbRb ◼ 实际系统发送功率有上限 P  P 2 b b e E N   E  P = 1 erfc    exp− N   0   0  Rb →0 Pe→0 5 信道容量是否存在？ ◼ 举例: 考虑一个离散无记忆信道 0 1 0 1 在保证可靠传输 (错误概率无限小)的前提下, 传输速率是否不趋于0 (一个不为0的正数)？ 在保证可靠传输 (错误概率无限小)的前提下, 传输速率是否不趋于0 (一个不为0的正数)？ P e= P (decision = 0 1 transmitted) = P(decision =1 0 transmitted) 6 重复编码——Repetition Coding 100 101 001 011 111 000 010 110 ‘0’ 000 ‘1’ 111 重复编码的特点与存在的问题 ◼ 在所有编码序列中, 只有两个与信息bit对应 ◼ 被占用的 “顶点” 越少, 它们之间的距离 就越能被拉开, 错误概率就越低 ◼ 为了降低错误概率, 就必须增加编码序列长 度, 导致 bit 速率降低 ◼ 是否存在更高效的编码方式? ‘0’ 000 ‘1’ 111 7 8

更效的编码方式 保证可靠传输同时速率降低倍数恒定 ■在重复编码中,添加的冗余bits仅仅为了保 护1个原始信息bit aT信息bits T ■在更效的编码方式中,添加的冗余bts为了 保护多个原始信息bts 编码后btsa|ee 口定义a为原始信息bits速率 aT个信息bts可以代表2a条不同的消息 口在时间T跨度范围内,有aT个信息bits ■编码后,这些消息对应于2个“顶点”中的2个 口编码添加了(B-a)7个bits ■在总共2个“顶点”中,只有2a个被占用 口编码器输出bits为Br ■所以当T→>∞时,2/2→0,错误概率P→>0 ■但因编码而造成的信息速率的减低倍数a/β不变 後照k季的 模k季 a/B的极限—信道容量 Channel Capacity a Discrete Memoryless Channel ■根据大数定理,当T→∝ a Discrete memoryless channel (DMC) 时,信道中传输的 xG-、ND』 DMC Ly=(D bit错误概率是P 时,一个BT长的 b序列的平均错误fBP P*∏。p([[m bts为所P个 Message Coding e (12,1 =([u],x, IND encoder 所以对于固定B, 原始信息bit速率 tchannel use 值不能任意增加 y=G[],[ND aB<O a Decoding decoder 後照大季 12 後照k季D

更效的编码方式 ◼ 在重复编码中, 添加的冗余 bits 仅仅为了保 护 1个原始信息 bit ◼ 在更效的编码方式中,添加的冗余 bits 为了 保护多个原始信息bits 定义  为原始信息 bits 速率 在时间 T 跨度范围内, 有 T个信息 bits 编码添加了( −)T个 bits 编码器输出 bits 为T 9 保证可靠传输同时速率降低倍数恒定 ◼ 但因编码而造成的信息速率的减低倍数 不变 T 信息bits T 编码后bits T x1 x2  xT c1 c2 c3  cT−1 cT ◼ T 个信息 bits 可以代表 2 T 条不同的消息 ◼ 编码后, 这些消息对应于2 T 个 “顶点” 中的 2 T个 ◼ 在总共 2 T 个 “顶点” 中, 只有 2 T 个被占用 2 T ◼ 所以当 T → 时, 2 T → 0 , 错误概率 Pe→ 0   10   的极限——信道容量 ◼ 根据大数定理, 当T → 时, 信道中传输的 bit 错误概率是 Pe 时, 一个 T 长的 bit 序列的平均错误 TPe bits 为TPe个. ◼ 所以对于固定  , 原始信息 bit 速率 值不能任意增加   C Channel Capacity a Discrete Memoryless Channel ◼ Discrete memoryless channel (DMC) ◼ Coding ◼ Decoding DMC p (y x) xi = (xi 1,, xiN) y = (y 1,, y N) ( ) p (y m xm) N m =1 p y x = encoder Message i1,2,,  xi = (xi 1,, xi N) decoder y = (y 1,, y N) iˆ N R = 2 bit/channel use log 11 12

Some Definition Noisy Channel Coding Theorem a Codeword x=(x[小]…x[D∈(12…1} a Channel capacity of a discrete memoryless Codebook a Consider a discrete memoryless channel with x2y…x input symbol X and output symbol Y The a Error probability (X;y) ■ Reliable communication 後照k季的 後k手哪 Channel Capacity of a Continuous-Valued Channel AWGN信道 a Differential entropy h(x)=-丁f(x)ogf(x)d r,m () Conditional entropy h(xpr)-,(x, y)log /xr(aly )dxdy x() Mutual information V2sin a I(X; Y): =h(x)-h(rr) HiV) C=maxe(x Y) y( ) 後照大手 後照k季D

Some Definition ◼ Codeword ◼ Codebook ◼ Error probability ◼ Reliable communication xi = (xi 1,, xiN) i1,2,,  = x1 ,x2 ,,xC  pe = i ˆ  i 13 Noisy Channel Coding Theorem ◼ Channel capacity of a discrete memoryless channel ◼ Consider a discrete memoryless channel with input symbol X and output symbol Y. The capacity of the channel is p(x) C = max I (X ;Y ) 14 Channel Capacity of a Continuous-Valued Channel ◼ Differential entropy h (X )= − f (x)log f (x)dx ◼ Conditional entropy X ,Y X Y h (X Y )= − f (x, y)log f (x y )dxdy  ◼ Mutual information I (X ;Y ):= h (X )− h (X Y ) ◼ Capacity I (X ;Y ) f X :EX 2 P C = max AWGN信道 I x m xQ m 2 cosc t x (t) x (t) Wsinc(Wt− n) I y (t) 2 cosc t yI (t) yQ (t) yI m yQ m HL (f ) 1 W HL (f ) y (t) n (t) x (t) Wsinc(Wt− n) Q − 2 sinc t − 2 sin c t 1 W 15 16

AWGN的离散时间基带等效模型 Degree of freedom X( x y xb m]=xr[m]+jxo[m] 外回=网+圆{x咧=y四+ ns[m]=n, [m]+ ing ['m 噪声部分的统计特性n[m]~(0,N) a Given the bandwidth b and the time duration t the degree of freedom is 2BT. R,n]=Rn]=8[n] Rm[n]= 後照k季的 AWGN Channel ML decoding a Discrete-time model a At the receiver, maximum likelihood decoding is y[m]=x[m]+w[m] y=(l[]…y[N decoder where m=1…N,wm-(a=N2) a ML decoding algor a Encoding x'=arg maxpyf1v (24(2AD a In AWGN channel, this is equivalent to n Data transmission rate is rake bitslchannel use x=arg max 後照大季 x0後人手

AWGN的离散时间基带等效模型 xb m yb m nb m yb m= xb m+ nb m nI nQ nInQ R n = R n = R N0  n, n =0       b I Q b I Q  xb m = xI m + jxQ m   y m = y m + jy m n m = n m + jn m  噪声部分的统计特性 nb m ~ (0,N0) 2 17 X (t) t → t → X t → ◼ Given the bandwidth B and the time duration T, the degree of freedom is 2BT. Degree offreedom 18 AWGNChannel ◼ Discrete-time model ym = xm+wm, where m = 1,,N, wm~ (0,  2 = N 2) 0 ym wm xm encoder ◼ Encoding Message i1,2,,  xi = (xi 1,, xi N) log  Data transmission rate is R = 2 bits/channel use N ML decoding ◼ At the receiver, maximum likelihood decoding is applied. ◼ ML decoding algorithm decoder y = (y1,, yN) iˆ ( ) * k for all xk x = arg max p y x ◼ In AWGN channel, this is equivalent to 2 k x * = arg max y − x for all xk 19 20