一段文字的包含的信息量能不能衡量？ 第1页
1
jianchichen 网友的相关建议:
信息量的严格数学定义就是 log(1/p)，其中p是该文本在所有可能出现的文本中的概率，简单的说就是文本越罕见，信息量就越大。打个比方说，“我爷爷活了九十三”，和“我昨天吃了一泡屎”比起来，虽然字数相同，但是后者的信息量无疑大很多。
你可以把信息量简单想象为在你知道全空间真实分布的情况下，对某个样本进行霍夫曼编码压缩后所需的比特数（此处的霍夫曼编码未必是逐字节的）。当然，我们是不可能知道所有文本的概率分布的，所以要靠段落、句子、短语、词的分布来近似。(log(1/(p1*p2))=log(1/p1)+log(1/p2))
比如虽然大多数人的名字是三个字，可是有个人的名字，却可以压缩成"他"，信息量就比较小。
1
相关话题
有哪些神奇的级数求和？数学和物理对一般人来讲真的有必要学那么难吗？
地球的圆是什么程度的圆？
如何求如下n阶导数？
上大学学了高等数学之后看高中的数学题是一种怎样的体验？
数学论文的作者是怎样排序的？
为什么高中不直接开设高等数学、线性代数、概率统计这几门课呢？
现代数学和理论物理已经发展到怎样一个令人震惊的水平了？
如何判断一个方阵变换会导致源向量模长缩小？
斐波那契数列是如何被应用到证券市场的？
前一个讨论
一种菜的学名？
下一个讨论
为什么有些人觉得死宅恶心？
相关的话题
600 个人站一排，每次随机杀掉一个奇数位的人，几号最安全？给 n 个数的加法加括号的方法有多少种？
有没有双重否定不是肯定的情况？
有没有处处不可导的凸函数？
如何证明韦达给出的圆周率的计算公式？
如何评价数学家黎曼的成就与历史地位？
如果有机会给 1950 年科学界传达一句话，你会选择说什么？
你知道哪些反常识的知识？
拓扑学上的紧致性怎样理解？有何运用？
为什么古希腊人数学水平远超同时期的其他文明？
除了黎曼猜想，数学界还有哪些至今尚未得到证实的猜想？
送数学系男生尺子合适吗？
方程 x³+y³+z³=33 是否存在整数解？
sin2x的最大值?sin2x=2sinxcosx两个最大值都取1呀，不就等于2吗为什么最大值是1谢？
如何看待 Google 2004 年在硅谷公路旁一巨型广告牌上贴出的那道数学题用于招聘？
高级计量问题，主要跟线代概率论有关，求大佬解答?
怎么做2022贺年题？
圆周率中各个位数字是不是「均匀分布的」？比如取 100 万位，是否每个数字出现次数都在 10 万左右？
拉格朗日是什么意思？
《三宝大战诸葛亮》牛顿为什么会创立微积分，这是正确答案、还是在娱乐、还是在误导？
这道定积分怎么算（据说是某211期末考试题）？
对局AlphaGo，我完全随机落子，无数盘中能否赢一盘？
搞基础数学的人是不是都穷？
请问这个极限式如何证明？似乎很像带 δ 函数的积分？
两幂级数柯西乘积收敛半径大于等于较小者 怎么证明呢？
如何理解「信息茧房」？
怎么做2022贺年题？
如果引进新的运算，一元五次方程会不会有通用的求根公式？
如果“P=NP”得到证明，意味着什么？
正规数中是否包含了宇宙中的所有信息？