一段文字的包含的信息量能不能衡量？ 第1页
1
jianchichen 网友的相关建议:
信息量的严格数学定义就是 log(1/p)，其中p是该文本在所有可能出现的文本中的概率，简单的说就是文本越罕见，信息量就越大。打个比方说，“我爷爷活了九十三”，和“我昨天吃了一泡屎”比起来，虽然字数相同，但是后者的信息量无疑大很多。
你可以把信息量简单想象为在你知道全空间真实分布的情况下，对某个样本进行霍夫曼编码压缩后所需的比特数（此处的霍夫曼编码未必是逐字节的）。当然，我们是不可能知道所有文本的概率分布的，所以要靠段落、句子、短语、词的分布来近似。(log(1/(p1*p2))=log(1/p1)+log(1/p2))
比如虽然大多数人的名字是三个字，可是有个人的名字，却可以压缩成"他"，信息量就比较小。
1
相关话题
如何理解雅可比式？关于一道数学题的解答，学而思的解答是否更好？
圆周率已被算到31.4万亿位，科学家如此执着，到底为了什么？
什么样的初等函数的不定积分不能用初等函数表示？
整數分拆中的分拆函數能否延拓至非整數？
数列的极限定义，为什么我证明是错的?
如何看待网信办通报下架「滴滴企业版」等 25 款 App？
实变、泛函、抽代、拓扑，哪几门对于非纯数专业更加有用？
为什么三体中说改变数学规律是很可怕的？
泰勒公式展开到任意阶，都不用管后面的高阶无穷小项么？
前一个讨论
一种菜的学名？
下一个讨论
为什么有些人觉得死宅恶心？
相关的话题
下面这道数竞平面几何题求好的解题思路和方法？(xⁿ - 1)/(x - 1) = y² 这个不定方程蕴含了哪些知识？
如何计算这个积分？
这道题解题思路是什么呢?
学文科会影响数学思维吗?
有什么学习数学的好网站？
｛mr+n！ | m∈Z，n∈N｝是否在R上稠密？
线性代数到底应该怎么学？
复合映射的符号f°g是怎么来的？
高中数学有没有可能在往后的人生中几乎用不到，如果有，那我们学习的意义是什么？
你所在数学领域的 big picture 是什么？
如何理解洛朗级数？
如何计算 √5 的近似值？
如何看待国际数学联盟发表声明，取消在俄罗斯圣彼得堡线下举办国际数学家大会？其它国际组织会跟进吗？
为什么有那么多人不承认0.9无限循环=1，且振振有词？
高级计量问题，主要跟线代概率论有关，求大佬解答?
n 座桥，连通 n+1 个岛，有多少种连法？
学数学有点钻牛角尖，总是怀疑书中推导的严谨性，各位有什么好办法吗？
如何分配砝码使天平尽可能平衡？
随手画线段，其长度最有可能是有理数还是无理数？
是否存在虚虚数j，使得j^2=-i？
代数拓扑为什么研究同调？
日麻规则下 13 张配牌的向听数期望是多少？
二维世界真的可能存在吗？如果存在，如何去理解它？
如何证明内积形式的施瓦茨不等式？
圆内任取三点/四点在同一半圆内的概率是多少？
三次曲线 x³＋y³＝1 有什么几何性质？
如何判断级数lnn/n^2(从1到无穷)收敛或发散？
国外有哪些经典的概率统计教材？
x^4+y^4+z^4+w^4=a^4有正整数解吗？