一段文字的包含的信息量能不能衡量？ 第1页
1
jianchichen 网友的相关建议:
信息量的严格数学定义就是 log(1/p)，其中p是该文本在所有可能出现的文本中的概率，简单的说就是文本越罕见，信息量就越大。打个比方说，“我爷爷活了九十三”，和“我昨天吃了一泡屎”比起来，虽然字数相同，但是后者的信息量无疑大很多。
你可以把信息量简单想象为在你知道全空间真实分布的情况下，对某个样本进行霍夫曼编码压缩后所需的比特数（此处的霍夫曼编码未必是逐字节的）。当然，我们是不可能知道所有文本的概率分布的，所以要靠段落、句子、短语、词的分布来近似。(log(1/(p1*p2))=log(1/p1)+log(1/p2))
比如虽然大多数人的名字是三个字，可是有个人的名字，却可以压缩成"他"，信息量就比较小。
1
相关话题
√8-√2=√2，这是怎么得出来的？怎么通俗地理解张量？
为什么∫x²/（√1-x²）dx用分部积分求不出来不定积分?
如何解决这个数学问题？
会不会在数学发展足够先进的时候，人们学100年也几乎达不到当时最前沿数学领域，使得数学无法继续发展?
预测一下到今年年底本轮中美搏弈的结果大概率是什么？
如果高中生跑步速度超过光速，会被北京体育大学保送吗？
以「维数」为自变量的函数怎样表示和画图象？
为什么总有一些人推荐计算机学生把重点放在高数和线代？
单位圆上n等分点按不同顺序顺次连接，能连接出多少种图形？
前一个讨论
一种菜的学名？
下一个讨论
为什么有些人觉得死宅恶心？
相关的话题
为什么行列式恰好能表示体积？高一怎么恶补数学？
怎样用非数学语言讲解贝叶斯定理（Bayes's theorem）？
我有一个数学新发现，确定是新发现，确定是正确的，有什么平台可以出售转让变现？
用十二进制替换十进制是不是更符合自然规律？
为什么要用乘法计算面积？
如何证明圆上若干点构成的多边形最大面积在正多边形时取到？
有哪些自己发现并证明的并自以为得意的初等数学定理？
拉普拉斯变换的物理意义是什么？
学数学或物理学到 high 很刺激，是一种怎样的经历与感受？
圆内均匀随机地取三个点，三点确定的新圆在旧圆内的概率是多少？
如何证明平面内任意六个整点都不能组成正六边形？
我们生活在三维空间，是偶然还是必然？
请问这第一道三阶常微分方程怎么解啊，不用特征方程解法怎么做？
如何评价知乎用户@Aries？
单位圆上n等分点按不同顺序顺次连接，能连接出多少种图形？
1 克精面粉所有粉尘颗粒的表面积之和与地球的表面积哪个大？
有人认为，数学的本质是计算，另外一个人认为，数学的本质是免于计算，请问相比之下，谁更有道理？
如果百年后深度学习最终有了公认的数学理论作为基础，能解释实验中的各类玄学，那这个理论会长什么样子？
请问这个不等式（微积分怎么证明?
求问数学公式推导？
数学功底究竟指的是什么？
数学中有哪些巧合让人眼前一亮？
假设，宇宙万物起源于“道”（现有理论中称之为奇点）那么这个“道”是否产生一最基本的规律或为一规律？
我希望中国举办一个更有分量的奥数天才赛，出一些很难的题目和各种猜想，可以花一年解题，吃住在考场可以吗？
如何做出 2π 分熟的牛排？
一些生活中看似习以为常实则牵扯到物理，数学化学等学科的高大上的原理有哪些？?
integral domain为啥叫整环？
如何评价四川大学数学学院付昌建老师?
为什么left adjoint的存在性和comma category有关？