能否把1GB的数据压缩到1MB甚至更小的体积？ 第1页

宏观上说取决于数据的混乱程度，如果数据完全是随机生成的，极限压缩，也几乎压缩不了多少。

反之，如果数据比较有规律，规律性越强，则压缩空间越大。

可能把无限大的数据压缩成一行数据吗？可以。

举个例子，假如有这样一个文本文件：

       135791113151719...     

我们可以把它压缩成：

       a[n+1] = a[n] + 2, a[0] = 1,     

因为在上面的文件中，我们观察到其实是由一个等差数列连接而成的字符串，所以我们可以用通项公式来复现出文件的完整的信息。

再比如更一般的，文本文件中，往往每个字母的出现频率是不一样的，有的字母出现频率更高，有的则更低，如果我们尽可能的让出现频率更高的字母用更少的空间表示，这样就会达到一个数据压缩的效果，常见的典型例子就是哈夫曼编码 （Huffman Encoding)。

哈夫曼编码的原理是找到这么一种二进制编码模式，能让出现频率越高的字符用越短的二进制编码去表示，找到之后，进行编码，从而达到了一种压缩体积的效果，具体操作方法在这里不赘述。

也因为如此，哈夫曼编码能够对文本文件有不错的压缩效果，因为几乎所有文本文件的字符出现频率都是有差异的。

但也正因为如此，用哈夫曼编码去压缩图片，视频等文件，几乎起不到什么效果，因为以文字的角度去看图片文件，几乎可以看作是随机的乱码文件，字符出现的频率近乎一致。

上面所说的这种叫做无损压缩，能够保证压缩后的数据能够完整的复现成原来的数据，它更注重的是“变形”，利用数据已有的规律和特征，去进行一些变形，这本身不矛盾。

“内容“是抽象的，它包含着对我们人类有意义的信息，比如，文章，图片，但存储内容，必须有一个把内容变成数据的过程，数据比内容更为归一化，怎么理解这个归一化呢？不管是图片，还是文章，还是视屏，在 unix 系统下，它们都是以二进制文件的形式存储的，都是一堆 0 和 1，这就叫归一化，把多种内容编码成一种数据，给我们带来了很大的方便，我们只要想办法把数据以某种方式存储到物理介质上，我们就获得了存储所有“内容”的能力，这就像只要所有的网络I/O，文件I/O，块设备，字符设备，都能表现成对一个 fd 的读写，我们知道怎么对 fd 读写，我们就具备了操纵这么多种不同的 I/O 的能力，这个过程往往称之为编码，而数据在物理载体上的存储方式，则有无限种可能。

原来看到一篇科幻小说，好像是刘慈欣写的，说的是一个外星人，来了地球之后，把人类的所有知识都获取了之后，编码成了一串数字，大概就像这样：

       28372493824923923..............很长很长...     

然后这个外星人在第一数之后点了一个小数点，然后又加了个长度单位，索性就是米好了：

       2.8372493824923923..............很长很长...m     

由于这段数字虽然很长很长，但是它是有限的，而且这个外星人有很先进的度量能力，也就是说，他们有非常精密的尺子，即便是上面那么长，他们也能度量出来。

于是，外星人把上面那串数字当成了一段长度，在飞船上找了一个位置，准确的刻画了这段长度，于是，它就用这两个刻度，存储了地球的全部信息。

这听起来很神奇，你竟然能用一个刻度，存储地球的全部知识，当然在现实世界我们知道是不可能的，因为随着小数点后面的数变多，每个数代表的真实大小在指数级的减小，而对我们的衡量精度要求是指数级的增高，我们马上就无能为力了。

于此相同，我们还可以选取一个铁块，把上面的数字单位变成 kg，只要这个铁块的重量严格等于它，我们就用这个铁块，存储了人类的知识。

小学的数列找规律的题，就像是在寻找数据压缩的方式，如果你成功找到了通项公式，你就把这个无限长的数列压缩成了一个公式。

我在文章开头说的，数据的混乱程度，决定了数据压缩的难度，或者说，数据的熵越大，越难压缩，因为它缺乏可预测性，可归一性，没有同质化的区域，更没有可利用的规律，所以也缺乏被总结归纳的可能性。

再说说有损压缩，这方面就很好理解了，但是压缩的时候，往往要和内容紧密联系。

比如，内容是图片，我们压缩的时候，可能考虑降低分辨率，把相邻的四个像素点取一个颜色平均值，然后变成一个像素点，这样，图片的分辨率就被压缩成了原来的四分之一，但是看上去，还能看出原来的样子。

但是如果我们对文本文件做一摸一样的压缩处理，就会发现原来有意义的一篇文章变成了缩短四分之一后的奇怪乱码，这就是从内容的角度上，完全损失了数据。

而对于此，对于图片和文本，我们可以定义不同的压缩损失的函数，从而用来衡量压缩后信息的损失量。

图片具有稳定性，也就是说，将一个像素点的颜色微调一点，对整个图片不会有突变的印象，而对于文本，48 和 49 所代表的字符可能完全是两个字符，所以文本文件很难做有损压缩，而图片等多媒体资源，经常会做不同的压缩等级处理，比方说 720p，1080p，4k 等等。

而对于一堆在高维空间中的样本点来说，我们可以进行降维处理，比方说原有的数据点长这样：

然后你用把所有的数据点都投影在了蓝色的直线上，于是二维的样本点变成了一维的样本点，常见的方法有 PCA (Principle Component Analysis) 等。

谢谢！