第四章 限失真信源编码
(计划学时 8)
第四章
主要内容
4.1 信源的有损压缩 4.2 率失真函数 4.3 保真度准则下的信源编码 4.4 连续信源的限失真编码 4.5 预测编码 4.6 变换编码
教学目的与要求
1.深刻理解限失真编码的意义. 2.理解率失真函数的概念,了解变 化规律. 3.了解离散信源和连续信源的限失 真编码. 4.了解预测编码和变换编码的原 理,及其在语音和图像压缩中的应 用.
参考文献
1.吴乐南:数据压缩 电子工业出版社(2001年6月第一版) 2.吴伟陵:信息处理与编码 人民邮电出版社(1999年7月第一版) 3.曹雪虹:信息论与编码 北京邮电大学出版社(2001年8月第一版)
第四章
限失真信源编码
4.1 信源的有损压缩
本节主要内容
限失真信源编码定义 失真度的定义 单个符号的失真度 平均符号失真度 序列的平均失真度
外语关键词
限失真信源编码: distortion constraint source coding 失真度:distortion 平均失真度:average distortion
[温旧引新]
信源编码:压缩代码长度的编码. 平均互信息的极值性: 当信道给定时,互信息仅由信源决定,总 存在一个信源能使互信息取极大值;当信 源给定时,互信息仅由信道决定,总存在 一个信道能使互信息取极小值. 传信率与平均互信息: Rt =RBI(X;Y) 连续信源的相对熵:
h( x) = ∫
∞
∞
p ( x ) log p ( x ) dx
4.1 信源的有损压缩
4.1.1 信源有损压缩的实际意义
根据信道编码定理,信道不可能实现对消息的完 全无失真传输. 实际生活中,人们并不要求获得完全无失真的消 息,通常只要求近似地再现原消息,也就是允许 一定的失真存在. 在限定失真度条件下压缩信源代码长度(包括削 减一部分次要信息)的编码,叫做限失真信源编 码.
两种限失真传输: 一种是离散信源限失真传输,这里主要是编码的问 题. 另一类是连续信源限失真传输,主要是数字化的问 题. 更广义的认识,凡是不要求完全无失真地恢复原信号 的信号处理过程,都可当作限失真传输过程,比如图 像技术中广泛使用的变换编码,预测编码以及语音系 统中的声码合成技术等.
4.1.2失真度的定义
既然允许一定的失真存在,对信息率的要求便 可降低.可以引入一个失真函数,计算在失真 度一定的情况下传信率的极小值. 误差或失真越大,接收者收到消息后对信源存 在的不确定性就越大,获得的信息量就越小, 信道传输消息所需的信息率也越小.所以信息 率与失真有关.为了定量地描述信息率和失真 的关系,必须先规定失真的测度.
1,单个符号的失真度:
系统模型:
信源 信源编码 U 广义 无扰信道 p(ui,vj) V 信宿译码 信宿
对 于 每 一 对 符 号 ( ui ,vj )定义一个非负的函 数: ( i = 1,2,3,……r; j = 1,2,3,……s ) d(ui , vj)≥0 称为单个符号的失真度,用它来测度信源每发出 一个符号ui而在接收端再现成符号vj的失真程 度. 这个函数的定义应当使d值的大小能反映失真的 大小,d=0应代表没有失真.
失真函数的形式
平方失真:函数d (ui, vj)的具体形式,在不同 问题中可以有不同的规定.常见的形式: 平方失真: d (ui , v j ) = (ui v j )2 绝对失真: d (ui , v j ) =| ui v j | 相对失真: d (ui , v j ) =
| ui v j | | ui |
1 ui ≠ v j 误码失真: d (ui , v j ) = δ (ui , v j ) = 0 ui = v j
失真度矩阵
由于有r个ui 和s个vj ,所以可定义出r×s个d (ui ,vj),构成一个失真度矩阵:
d (u1 , v1 ) d (u1 , v2 ) d (u2 , v1 ) d (u2 , v2 ) D= L L d (u , v ) d (u , v ) r 1 r 2
L d (u1 , vs ) L d (u2 , vs ) L L L d (ur , vs )

下一页