信息论第二章答案(3)

2.15 某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。 (1) 求符号的平均熵；

(2) 有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。

解： (1)

133??1H(X)???p(xi)logp(xi)???log?log??0.811 bit/symbol

4444??i(2)

· 9 ·

?1??3?p(xi)???????4??4?m100?m3100?m?10043?41.5?1.585m bit4100100?m

I(xi)??logp(xi)??log(3)

H(X100)?100H(X)?100?0.811?81.1 bit/symbol

2.16 一阶马尔可夫信源的状态图如下图所示。信源X的符号集为{0, 1, 2}。 (1) 求平稳后信源的概率分布； (2) 求信源的熵H∞。

PP0P1PP2P 解： (1)

?p(e1)?p(e1)p(e1/e1)?p(e2)p(e1/e2)??p(e2)?p(e2)p(e2/e2)?p(e3)p(e2/e3)?p(e)?p(e)p(e/e)?p(e)p(e/e)333131?3?p(e1)?p?p(e1)?p?p(e2)???p(e2)?p?p(e2)?p?p(e3)???p(e3)?p?p(e3)?p?p(e1)?p(e1)?p(e2)?p(e3)??p(e1)?p(e2)?p(e3)?1?p(e1)?1/3??p(e2)?1/3?p(e)?1/3?3

?p(x1)?p(e1)p(x1/e1)?p(e2)p(x1/e2)?p?p(e1)?p?p(e2)?(p?p)/3?1/3???p(x2)?p(e2)p(x2/e2)?p(e3)p(x2/e3)?p?p(e2)?p?p(e3)?(p?p)/3?1/3? ??p(x3)?p(e3)p(x3/e3)?p(e1)p(x3/e1)?p?p(e3)?p?p(e1)?(p?p)/3?1/312??X??0??P(X)??1/31/31/3?????(2) · 10 ·