信息论与信源编译码技术

本书致力于信息论与信源编译码技术深度融合的学科体系建设，建立了信息论与编译码技术紧密结合的板块结构，即信源信息保持型处理—信道信息传输—信源信息非保持型处理—处理与传输合一。在板块结构基础上，本书深度融合理论与技术，既阐述编码特性分析又探讨实用编、译码技术。

第1章 概论..................................................................................................................... 7 1.1 信息论诞生与发展.............................................................................................. 7 1.1.1 通信系统结构与信息论............................................................................ 7 1.1.2 信息论的发展与信息科学..................................................................... 8 1.2 信息论及其应用................................................................................................ 10 1.2.1 香农信息论与模糊信息论....................................................................... 10 1.2.2 香农信息论与编码.................................................................................. 10 1.2.3 香农信息论与信息处理........................................................................... 11 1.3智能科技与智能时代.......................................................................................... 13 1.3.1 智能与智能科技..................................................................................... 13 1.3.2智能科技与信息物理系统........................................................................ 14 1.3.3 智能科技与智能化社会........................................................................... 15 第2章 信源数字特性分析.............................................................................................. 16 2.1信源的数学模型与分类....................................................................................... 16 2.1.1 信源的概率空间..................................................................................... 16 2.1.2 基于信源统计特性的分类....................................................................... 17 2.2离散信源的数字特性分析................................................................................... 18 2.2.1 信源数字特性的物理意义....................................................................... 18 2.2.2 信源数字特性分析.................................................................................. 20 2.2.3信源的交叉熵和相对熵分析..................................................................... 23 2.2 连续信源数字特性分析.................................................................................... 24 2.2.1 连续信源的数字特性分析.................................................................... 24 2.2.2 连续信源的优选微分熵....................................................................... 25 2.3 矢量信源数字特性分析...................................................................................... 26 2.3.1 扩展矢量信源数字特性分析................................................................ 26 2.3.2矢量信源数字特性分析............................................................................ 27 2.4多维度信源数字特性分析................................................................................... 29 2.4.1 联合信源数字特性分析........................................................................... 29 2.4.2 具已知条件的信源数字特性分析............................................................. 29 2.5 冗余度分析与计算........................................................................................ 30 2.5.1 信源冗余概念与分类.............................................................................. 30 2.5.2 信源冗余度的分析与计算....................................................................... 32 2.5.3 信源编码冗余度分析与计算.................................................................... 39 2.5.4 信道编码冗余度分析与计算.................................................................... 41 第3章 去相关理论与技术.............................................................................................. 43 3.1 预测去相关....................................................................................................... 43 3.1.1 预测去相关原理..................................................................................... 43 3.1.2 语音预测编码技术.................................................................................. 43 3.1.3 预测编码性能分析........................................................................... 45 3.2正交变换去相关................................................................................................. 46 3.2.1正交变换去相关原理............................................................................... 47 3.2.2变换域采样与编码............................................................................... 49 3.3并元处理去相关................................................................................................. 52 3.3.1 非等长同元并元处理去相关.................................................................... 52 3.3.2等长异元并元处理去相关........................................................................ 52 3.4 字典索引去相关................................................................................................ 53 3.4.1 LZ77算法............................................................................................... 53 3.4.2 LZ78算法............................................................................................... 57 3.4.3 LZW算法编译码方法............................................................................... 59 第4章 无失真信源编码理论与技术................................................................................ 62 4.1无失真信源编码................................................................................................. 62 4.1.1 无失真信源编码概念.............................................................................. 62 4.1.2 编码举例................................................................................................ 63 4.2 定长编码分析.................................................................................................... 64 4.2.1 信源序列特性分析.................................................................................. 64 4.2.2 无失真信源编码方法........................................................................... 67 4.2.3定长编码应用分析................................................................................... 68 4. 3 变长编码理论分析......................................................................................... 71 4.3.1 变长编码基本概念.................................................................................. 71 4.3.2 变长码的码长特性分析........................................................................... 73 4.3.3 变长码平均码长下限分析....................................................................... 75 4.4 变长码的编码方法......................................................................................... 78 4.4.1 Huffman码............................................................................................. 78 4.4.2 Shannon-Fano码.................................................................................... 82 4.5 HSF码的编译码方法与技术................................................................................ 84 4.5.1 HSF码编译码方法............................................................................... 84 4.5.2 HSF码编译码技术................................................................................... 86 第5章 MH码分析与编译码技术.................................................................................... 88 5.1 MH码编码原理与技术....................................................................................... 88 5.1.1 MH码编码特性分析................................................................................. 88 5.1.2 MH码编码实现技术................................................................................. 94 5.2 MH码译码原理与技术........................................................................................ 98 5.2.1 MH码译码技术........................................................................................ 98 5.2.2 MH码快速译码技术............................................................................... 101 第6章 高压缩比实用码分析与编译码技术.................................................................... 104 6.1 MR码编码原理与技术...................................................................................... 104 6.1.1 MR码编码规则...................................................................................... 104 6.1.2 传输码流格式....................................................................................... 108 6.1.3 ＭＲ码的编码实现技术..................................................................... 109 6.2 MR码译码原理与技术...................................................................................... 111 6.2.1 ＭＲ码译码原理.................................................................................... 111 6.2.2 MR码译码技术...................................................................................... 113 6.3 ＭＲ码提高压缩比理论与技术分析................................................................... 114 6.3.1 MH码平均码长分析与计算..................................................................... 114 6.3.2 ＭＲ码平均码长分析与计算.................................................................. 117 6.4 MMR码编、译码原理与技术............................................................................ 118 6.4.1 编码规则.............................................................................................. 118 6.4.2 传真编码的控制功能............................................................................. 119 6.4.3 编、译码技术....................................................................................... 119 第7章 信源符号序列码分析与编译码技术.................................................................... 122 7.1 JBIG码编码原理........................................................................................... 122 7.1.1 研究背景.............................................................................................. 122 7.1.2 JBIG码理论基础................................................................................... 122 7.1.3 编码算法.............................................................................................. 124 7.2 JBIG码译码原理............................................................................................. 126 7.2.1 算术码译码算法................................................................................... 126 7.2.2二进制算术编码的改进.......................................................................... 127 7.3 JBIG码的数据流格式分析............................................................................... 132 7.3.1 JBIG参数与数据格式............................................................................ 132 7.3.2浮点标记字段........................................................................................ 136 7.3.3 大力度优惠分辩率层典型预测..................................................................... 137 7.4 实用JBIG码编译码技术.................................................................................. 137 7.4.1 编码处理(ENcoder processing)....................................................... 137 7.4.2编、译码流图.................................................................................... 138 第8章 JBIG2码分析与译码技术................................................................................... 144 8.1 JBIG2编码分析............................................................................................... 144 8.1.1 JBIG2编码目标.................................................................................... 144 8.1.2 JBIG2码编码原理................................................................................. 144 8.2 JBIG2码解码原理........................................................................................... 147 8.2.1 解码概述.............................................................................................. 147 8.2.2 过程的详细描述................................................................................... 147 8.3 JBIG2的文件格式........................................................................................... 150 8.3.1比特流组织方式.................................................................................... 150 8.3.2 JBIG2编码比特流分析.......................................................................... 151 第9章 文本压缩码分析与译码技术............................................................................ 154 9.1 PKZIP压缩编码原理分析................................................................................. 154 9.1.1 PKZIP压缩编码原理............................................................................. 154 9.1.2 PKZIP压缩编码举例............................................................................. 155 9.2 PKZIP文件格式分析......................................................................................... 156 9.2.1 ZIP压缩文件的结构分析...................................................................... 156 9.2.2 压缩方式分析....................................................................................... 158 9.3 PKZIP编译码理论与技术.................................................................................. 158 9.3.1 ZIP压缩中所采用的压缩算法分析........................................................ 158 9.3.2 DEFLATE1压缩算法............................................................................... 160 9.3.3DEFLATE2压缩算法............................................................................... 161 第10章 信道与信息传输分析..................................................................................... 165 10.1信道特性与信道疑义度分析............................................................................ 165 10.1.1 信道的描述与分类........................................................................... 165 10.1.2 信道疑义度与极值分析....................................................................... 166 10.1.3信道疑义度极值与 Fano不等式........................................................... 168 10.2 信道的信息传输特性分析........................................................................... 169 10.2.1 互信息函数定义.................................................................................. 169 10.2.2 互信息函数特性分析........................................................................... 171 10.3数据处理定理.............................................................................................. 175 10.3.1数据处理定理分析............................................................................... 175 10.3.2 数据处理定理的应用........................................................................... 176 10.4 信道传输序列信息特性分析........................................................................ 179 10.4.1信道扩展.......................................................................................... 179 10.4.2 有限序列信息传输分析....................................................................... 180 10.4.3 连续信源的信息传输分析................................................................ 184 第11章 信道信息传输能力分析................................................................................... 186 11.1 无约束条件信道信息传输极值分析.............................................................. 186 11.1.1 信道信息传输极值含义....................................................................... 186 11.1.2 对称信道的信息传输极值的计算...................................................... 187 11.2有约束条件下DMC的信息传输极值分析..................................................... 188 11.2.1 容量代价函数物理意义....................................................................... 188 11.2.2 容量代价函数特性分析....................................................................... 189 11.3 高斯信道的信息传输极值分析..................................................................... 195 11.3.1 高斯信道的描述.................................................................................. 195 11.3.2 高斯信道信息传输极值的计算............................................................. 196 11.3.3 信息传输极值在接入网中的应用......................................................... 198 第12章 信道编码定理与编译码方法............................................................................ 204 12.1信道编码理论................................................................................................. 204 12.1.1编码信道误码特性分析........................................................................ 204 12.1.2 信道编码举例..................................................................................... 206 12.1.3 信道编码定理..................................................................................... 209 12.2 分组信道编码方法......................................................................................... 213 12.2.1线性分组码的基本概念........................................................................ 213 12.2.2 线性分组码的特性分析....................................................................... 215 12.3分组码的译码方法.......................................................................................... 216 12.3.1 标准阵列法译码.................................................................................. 216 12.3.2 监督矩阵与最小距离的关系................................................................ 217 第13章 限失真信源编码理论与技术............................................................................ 219 13.1 速率失真函数................................................................................................ 219 13.1.1速率失真函数研究背景........................................................................ 219 13.1.2 离散无记忆信源的速率失真函数......................................................... 220 13.1.3 速率失真函数特性分析....................................................................... 222 13.1.4 对称信源的速率失真函数.................................................................... 231 13.2 高斯信源的R(δ)函数................................................................................ 232 13.2.1 高斯信源的R(δ)............................................................................... 232 13.2.2 高斯信源R(δ)特性分析..................................................................... 234 13.3 限失真信源编码定理...................................................................................... 236 13.3.1 数据压缩系统描述.............................................................................. 236 13.3.2 限失真条件下信源编码定理................................................................ 238 13.4 限失真信源编译码技术.................................................................................. 241 13.4.1 限失真编译码原理分析....................................................................... 241 13.4.2 限失真编译码关键技术分析................................................................ 243 13.4.3 限失真编译码设计举例....................................................................... 245 第14章 信源码纠错译码理论与技术............................................................................ 247 14.1 信源码纠错译码分析...................................................................................... 247 14.1.1 信源码纠错译码背景分析.................................................................... 247 14.1.2 信源码纠错译码目标与分类................................................................ 248 14.2 MH码纠错译码技术....................................................................................... 248 14.2.1 误码分类............................................................................................ 248 14.2.2 MH码误码发现技术............................................................................. 249 14.2.3 基于多游程补偿的MH码纠错译码算法................................................ 250 14.2.4 性能测试与结果分析........................................................................... 255 14.3 MMR码纠错译码技术.................................................................................... 257 14.3.1 MMR码误码发现技术............................................................................ 257 14.3.2 MMR码重同步技术研究........................................................................ 257 14.3.3 基于单比特反转的MMR码纠错译码算法............................................... 258 14.3.4 基于误码多线搜索的MMR码纠错译码算法........................................... 259 14.3.5 性能测试与结果分析........................................................................... 265 14.4数据压缩编码纠错译码原理与技术.................................................................. 267 14.4.1 LZSS压缩编码的检错原理与技术........................................................ 267 14.4.2 ZIP文件中参数区数据格式分析.......................................................... 271 14.4.3 Deflate编码的纠错译码原理与技术................................................... 273 14.5 JBIG码纠错译码技术...................................................................................... 281 14.5.1 算法描述............................................................................................ 281 14.5.2综合判决准则...................................................................................... 283 14.5.3 纠错算法性能测试.............................................................................. 284 14.5.4 JBIG2纠错译码算法............................................................................ 285 第15章 图像编码分析与纠错译码技术......................................................................... 286 15.1 JPEG码分析与译码技术.................................................................................. 286 15.1.1 JPEG码编码规则分析.......................................................................... 286 15.1.2 JPEG码流分析.................................................................................... 288 15.2.3 JPEG码译码技术................................................................................. 291 15.2 JPEG2000码分析与译码技术........................................................................... 293 15.2.1 JPEG2000编码规则分析...................................................................... 293 15.2.2 JPEG2000关键技术分析...................................................................... 296 15.3针对高权重比特域突发错误的纠错译码算法................................................... 299 15.3.1算法分析与设计................................................................................... 299 15.3.2 实验结果与分析.................................................................................. 302 第16章 视频编码分析与纠错译码技术......................................................................... 306 16.1 研究视频码纠错的技术背景........................................................................... 306 16.1.1 视频编码技术发展.............................................................................. 306 16.1.2 MPEG-2中三类图像的编码方法分析..................................................... 308 16.2 信源码抗误码译码新理论与新技术................................................................ 311 16.2.1信源码抗误码译码新机制..................................................................... 311 16.2.2 视频信源码译码抗误码新技术............................................................. 312 16.2.3实验结果............................................................................................... 318 第17章 通信系统优化设计.......................................................................................... 321 17.1 通信系统优化指标......................................................................................... 321 17.1.1 衡量编码性能的主要指标.................................................................... 321 17.1.2 提高语音编码质量的途径.................................................................... 322 17.2 通信系统优化设计......................................................................................... 323 17.2.1通信系统优化设计原理........................................................................ 323 17.2.2 通信系统优化设计举例....................................................................... 325 参考文献...................................................................................................................... 329