香农三大定理

来源:学生作业帮助网 编辑:六六作业网 时间:2024/12/19 13:40:34
香农三大定理香农三大定理香农三大定理一:香农第一定理(可变长无失真信源编码定理)设信源S的熵H(S),无噪离散信道的信道容量为C,于是,信源的输出可以进行这样的编码,使得信道上传输的平均速率为每秒(C

香农三大定理
香农三大定理

香农三大定理
一:香农第一定理(可变长无失真信源编码定理)
设信源S的熵H(S),无噪离散信道的信道容量为C,于是,信源的输出可以进行这样的编码,使得信道上传输的平均速率为每秒(C/H(S)-a)个信源符号.其中a可以是任意小的正数,要使传输的平均速率大于(C/H(S))是不可能的.
二:香农第二定理(有噪信道编码定理)
设 某信道有r个输入符号,s个输出符号,信道容量为C,当信道的信息传输率R码长N足够长,总可以在输入的集合中(含有r^N个长度为N的码符号序列),找 到M (M=0,和任意小的a>0,以及任意足够长的码长N,则一定存在一种信 源编码W,其码字个数为M