一段文字的包含的信息量能不能衡量？ 第1页
1
jianchichen 网友的相关建议:
信息量的严格数学定义就是 log(1/p)，其中p是该文本在所有可能出现的文本中的概率，简单的说就是文本越罕见，信息量就越大。打个比方说，“我爷爷活了九十三”，和“我昨天吃了一泡屎”比起来，虽然字数相同，但是后者的信息量无疑大很多。
你可以把信息量简单想象为在你知道全空间真实分布的情况下，对某个样本进行霍夫曼编码压缩后所需的比特数（此处的霍夫曼编码未必是逐字节的）。当然，我们是不可能知道所有文本的概率分布的，所以要靠段落、句子、短语、词的分布来近似。(log(1/(p1*p2))=log(1/p1)+log(1/p2))
比如虽然大多数人的名字是三个字，可是有个人的名字，却可以压缩成"他"，信息量就比较小。
1
相关话题
如果从图中移去一个边的一个集合将增加亚图的数目时，被移去的边的集合就成为截。”那么，亚图是什么？截呢？十赌九输这句话有根据吗?
大家口算 7+6+8＝？的时候，心里是一瞬间出结果，还是有一个过程，如凑十进一？
一个同时有内切椭圆和外接椭圆的多边形满足什么条件？
计算 2 的 64 次方有什么特殊技巧？
什么是主动学习（Active Learning, AL）？
教育部将研究珠算文化进小学，珠算有无必要恢复？该怎样进行传承？
如何证明一下等式?
打麻将两个人一起上赢的多，还是一个人打赢的多？
数学总是令我困惑，为什么可以这么做？
前一个讨论
一种菜的学名？
下一个讨论
为什么有些人觉得死宅恶心？
相关的话题
《图灵传》中讲到「狄拉克基于抽象数学预言了正电子的存在」，其中细节为何？在没有能量损失的理想台球桌上任意击球，球是否最终必然进洞？
1^k+2^k+3^k+…+n^k 的公式是什么（n，k 均为自然数）？
计算数学在数学界是什么样的地位？
如何理解矩阵特征值？
100 瓶水其中有一瓶有毒，用老鼠试毒老鼠试后 7 天会死掉，需要多少只老鼠才能试出哪瓶水有毒？
有哪些让数学专业抓狂的「月经数学题」？
如何证明对任意给定的正数e，存在M上的矩阵范数||A||，满足不等式||A||<=谱半径+e?
为什么科技互联网公司越来越重视数学？
如何求如下n阶导数？
对于多元线性回归，如何证明任一自变量的系数等同于忽略其他变量后一元线性回归的系数？
请问这个不等式（微积分怎么证明?
如何只使用折叠的方法十等分一个线段或者绳子？
黄金分割数1.618的6次方及更高次幂为什么如此接近整数？
中国有哪些描写随机过程的古诗词？
什么是泊松过程？
怎样算原神up池到第x抽才出up角色的概率（1≤x≤180）？
如何用物理和数学名词写成诗？都有哪些作品？
为什么给男朋友发一堆信息他不回 不给他发他又急呢？ 男生真的是很奇怪的生物啊？
为什么∫x²/（√1-x²）dx用分部积分求不出来不定积分?
如何快速判断一个人的数学水平？
怎么用特征根法和不动点法求数列的通项公式？
怎样的数学问题叫一个好问题？
为什么不能用 0 做除数？
有哪些比较魔性的函数图象？
在哪里排队最有可能中奖？
两个有理数之间一定存在一个无理数吗？
为什么正态分布公式中会有 π 呢？ π 为什么应用得地方那么多，应该怎么理解 π ？
王茂泽宣称其破解世界著名难题「冰雹猜想」，他的证明正确吗？
印刷体的数学符号在手写的时候有哪些规范？