Week 2: Image and video compression

Chapter_8 Image Compression

图像压缩为了减少以下三种冗余的影响:
Coding redundancy 编码冗余 ---采取合适的编码方式,如Huffman Coding 霍夫曼编码
Spatial and temporal redundancy 空间和时间冗余 ---采取映射变换的方式,如利用行程长度或者相邻元素之间的差距来表示
Irrelevant information 无关信息 ---采取量化的方式,去除一定量的无关信息


JPEG is a common standard for Continuous-Tone Still Images(连续色调静止图像). Its lossy(有损) baseline coding system uses quantized discrete cosine transforms(DCT) on 8*8 images blocks, Huffman(霍夫曼编码), and **run-length coding(游程编码) **

霍夫曼编码 Huffman Coding
使用变长编码表对源符号(如文件中的一个字母)进行编码,其中变长编码表是通过一种评估来源符号出现概率的方法得到的,出现概率高的字母使用较短的编码,反之出现概率低的则使用较长的编码,这便使编码之后的字符串的平均长度、期望值降低,从而达到无损压缩数据的目的。


Run-Length Coding 游程编码(RLE)
使用变动长度的码来取代连续重复出现的原始资料,压缩二值图像时,游程编码特别有效。

Block Transform Coding 块变换编码


把图像分成大小相等且不重叠的小块,用一种可逆线性变换把每个块或子图映射为变换系数的集合,然后对这些变换系数进行量化和编码。
考虑大小为n*n的子图像g(x,y),其离散变换T(u,v)可以表示成:

给定T(u,v),可以用离散反变换得到g(x,y):

r(x,y,u,v) and s(x,y,u,v) are called the forward(正变换核) and inverse transformation kernels(反变换核),respectively.They also referred to as basis functions(基函数) or basis images(基图像).
The T(u,v) for u,v=0,1,2,...,n-1 are called transform coefficients(变换系数).

图像压缩中最常用的一种变换是DCT(离散余弦变换):

DCT的信息携带能力比DFT和WHT的信息携带能力强,在信息携带方面的最佳变换是Karhunen-Loeve变换,对于任何输入图像和任何数量的保留系数,KLT都可以使子图像和近似图像之间的均方误差最小。然而由于KLT是依赖数据的,所以为每幅图像得到KLT基图像的计算量十分巨大,因此很少用KLT来压缩图像。通常使用像DFT、WHT、DCT这样具有固定(与输入图像无关)基图像的变换。正弦变换(DFT or DCT)的信息携带能力更接近最佳KLT的信息携带能力。(一阶马尔科夫图像源的KLT基图像与DCT的基图像非常相似,由于相邻像素间的相关接近1,所以输入相关的KLT基图像就变得与输入无关的DCT基图像相同)因此多数变换编码系统都基于DCT,DCT在信息携带能力和计算复杂性之间取得了良好的折中。

与其他输入独立的变换相比,DCT用单片集成电路就可以实现,可将最多的信息装入最少的系数中,并且在子图像间的边界变的可见时,可使出现的称为块缺陷的块效应最小化,解释如下:



图a中DFT隐含的n点周期性造引起了边界的不连续性,造成了图像高频的变换。当DFT变换系数被截断或者量化时,Gibbs现象会导致边界点出现错误的值,这些错误的值在图像中以块效应的形式出现。图b中DCT减少了这种效应,这种变换隐含的2n点周期性本质上不会产生边界不连续。


子图像尺寸的选择
在n取8或者16时,均方根误差较小。(b图中有明显的块效应)

量化 Quantization
JPEG使用的是均匀量化


以JPEG过程为例详细梳理一遍压缩过程:
1、色彩空间转换。从RGB空间转换到YCbCr空间,Y为颜色的亮度成分、而Cb和Cr则为蓝色和红色的浓度偏移量成分。
2、缩减取样(Downsampling)。减少Cb和Cr的成分(称为"缩减取样"或"色度抽样"chroma subsampling)。在JPEG上这种缩减取样的比例可以是4:4:4(无缩减取样),4:2:2(在水平方向2的倍数中取一个),以及最普遍的4:2:0(在水平和垂直方向2的倍数中取一个)。
3、离散余弦变换。Y、Cb、Cr三个区域,每个区域划分成8*8的子区域,对于每一个子区域,其64个像素通过减去2k-1
进行灰度级移动,其中2k
是灰度级的最大数,然后对该块进行DCT,得到变换后的矩阵。



左上角之相当大的数值称为DC系数,其他的63个值称为AC系数,下面将对所有8×8表格中的DC系数使用差分编码,对AC系数使用游程编码。
4、量化。人类眼睛在一个相对大范围区域,辨别亮度上细微差异是相当的好,但是在一个高频率亮度变动之确切强度的分辨上,却不是如此地好。这个事实让我们能在高频率成分上极佳地降低信息的数量。简单地把频率领域上每个成分,除以一个对于该成分的常数就可完成,且接着舍位取最接近的整数。这是整个过程中的主要有损运算。以这个结果而言,经常会把很多更高频率的成分舍位成为接近0,且剩下很多会变成小的正或负数。使用JPEG标准阵列量化后,结果如下:

5、熵编码技术(entropy coding)。熵编码是无损数据压缩的一个特别形式。它牵涉到将视频成分以Z字体(zigzag)排列,把相似频率组群在一起(矩阵中往左上方向是越低频率之系数,往右下较方向是较高频率之系数),插入长度编码的零,且接着对剩下的使用霍夫曼编码。(当剩下的所有系数都是零,对于过早结束的序列,JPEG有一个特别的霍夫曼编码用词。使用这个特殊的编码用词,EOB)


Predictive Coding 预测编码


无损预测编码


通过消除相邻像素在空间和时间上的冗余来实现,仅对每个像素中的新信息进行提取和编码,一个像素的新信息指该像素实际值与预测值之间的差。
预测是由前m个样值线性组合而成,即

其中,m是线性预测器的阶,round表示四舍五入的操作,αi
是预测系数。
用于预测每个像素值的m个样本来自当前扫描行称为一维线性预测编码;来自当前行和前几个扫描行称为二维线性预测编码;来自当前图像和前几帧图像称为三维线性预测编码。

有损预测编码


最佳预测器,差分脉冲编码调制(DPCM)
最佳量化,Max-LIoyd Optimal Quantizer Max-Lloyd最优量化器

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,456评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,370评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,337评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,583评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,596评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,572评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,936评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,595评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,850评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,601评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,685评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,371评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,951评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,934评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,167评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,636评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,411评论 2 342

推荐阅读更多精彩内容