连续信源的熵
由于连续信源信号幅度取值无限性, 要精确表示这样的信号, 理论上需要无穷个bit才行。即连续信源的绝对熵为 
。
仿照离散信源熵的定义, 有连续信源的熵（相对熵）定义为
其中 
为连续信源信号 
的概率密度函数。连续信源的 (相对) 熵可正可负。
R(D) 的定义域
率失真的定义域问题就是在信源和失真函数已知的情况下，讨论允许平均失真度 
的最小和最大取值问题。
由于平均失真度 是非负实数 
的数学期望, 因此 也是非负的实数，即 
, 故 的下界是 0 。允许平均失真度能否达到其下限值0, 与单个符号的失真函数有关。
和 
信源的最小平均失真度:
只有当失真矩阵的每一行至少有一个 
元素时,信源的平均失真度才能达到下限值 。
当 
, 即信源不允许任何失真时,信息率至少应等于信源输出的平均信息量一信息熵。
对于连续信源
因为实际信道总是有干扰，其容量有限，要无失真地传送连续信息是不可能的。
当允许有一定失真时, 
将为有限值, 传送才是可能的。
的定义域为 
。
- 通常
- 当
时, $quad R(D)=0 $ - 当
时， 
由于 
是非负函数,而 是在约束条件下的 的最小值, 所以 也是一个非负函数, 它的下限值是零。
：是定义域的上限。
是满足 R(D)=0 时所有的平均失真度中的最小值。
由于 
的充要条件是 X 与 Y 统计独立, 即:
例: 设输入输出符号表为
, 输入概率分布
, 失真矩阵
求
和
解：失真矩阵的每一行至少有一个 0 元素时,
例: 设输入输出符号表为
, 输入概率分布
求
解:
参考文献：
- Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
- Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
- 周炯槃. 通信原理（第3版）[M]. 北京：北京邮电大学出版社, 2008.
- 樊昌信, 曹丽娜. 通信原理（第7版） [M]. 北京：国防工业出版社, 2012.
本专栏包含信息论与编码的核心知识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：https://github.com/timerring/information-theory 】或者公众号【AIShareLab】回复 信息论 获取。
服务器托管，北京服务器托管，服务器租用 http://www.fwqtg.net
机房租用，北京机房租用，IDC机房托管， http://www.e1idc.net
