一段文字的包含的信息量能不能衡量？ 第1页
1
jianchichen 网友的相关建议:
信息量的严格数学定义就是 log(1/p)，其中p是该文本在所有可能出现的文本中的概率，简单的说就是文本越罕见，信息量就越大。打个比方说，“我爷爷活了九十三”，和“我昨天吃了一泡屎”比起来，虽然字数相同，但是后者的信息量无疑大很多。
你可以把信息量简单想象为在你知道全空间真实分布的情况下，对某个样本进行霍夫曼编码压缩后所需的比特数（此处的霍夫曼编码未必是逐字节的）。当然，我们是不可能知道所有文本的概率分布的，所以要靠段落、句子、短语、词的分布来近似。(log(1/(p1*p2))=log(1/p1)+log(1/p2))
比如虽然大多数人的名字是三个字，可是有个人的名字，却可以压缩成"他"，信息量就比较小。
1
相关话题
问个傻问题，∵0÷1=0，∴0÷0=1，∵0÷2=0，∴0÷0=2，∴1=2？是因为n÷0没意义吗？如何评价「花总」悬赏十万寻信息泄露源，称不满涉事酒店回应、忍无可忍？
从信息编码学的角度看DNA碱基对对应特定胺基酸，有哪些独特的感受？
能不能用简明的语言解释什么是非参数（nonparametric）模型？
正规数中是否包含了宇宙中的所有信息？
根据策梅洛定理，中国象棋是不是应该红方必胜或必和棋（看补充）？
如何分配砝码使天平尽可能平衡？
怎样理解平面向量的数量积是一个实数呢？方向乘方向怎么会有意义？
如何证明下面这个式子 ?
关于数学有什么有趣的笑话？
前一个讨论
一种菜的学名？
下一个讨论
为什么有些人觉得死宅恶心？
相关的话题
如何通俗的解释交叉熵与相对熵？房间内有 100 人，每人有 100 块，每分钟随机给另一个人 1 块，最后这个房间内的财富分布怎样？
怎样确保某个信息（如法律规定等）传递到世界每一个人？
数学中有哪些看起来很不可思议的知识？
如果突然有一天1+1=2变成1+1=0这个宇宙会怎么样（要求从最根本出发）？
如何客观评价丘成桐老师的学术贡献呢？
为什么偏序集里的哈斯图不能有三角形呢？求证明过程？
这个不等式的证明方法有哪些？
目前统计学在国内外的发展现状是怎样的？都有哪些分支？今后的研究方向大致是向哪里走？
人类是否能想象出多维空间的形态？
如何计算 √5 的近似值？
抽象函数2f(x)f(y)＝f(x+y)+f(x-y)的通式是什么？？
当抛掷一枚硬币时，前99次都为正面，那第一百次是正面还是反面？
如果《云顶之弈》开局 50 块钱，但只有 1 滴血，能保证吃鸡吗？
威尔逊定理中 p=4是一个例外，为什么？是否存在其他非质数的例外？
数列 {1, 1, -1, -1, 1, 1, -1, -1, ...} 的通项公式是多少呢？
1cm长度的线段上的点的个数，和1m长度的线段上的点的个数，哪个多？
有哪些手算对数的方法？
有哪些数学定理或者数学知识惊呆了你？
如何求解洛朗级数?
有谁给解释一下流形以及流形正则化？
如何看待喜欢玩数独却连微积分都不会的人？
外国人怎么算乘法？外国没有九九乘法表吗？
如何简单清晰地解释哥德尔不完备定理？
为什么离 n!/e 最近的整数是 n-1 的倍数？
社会科学可以被形式化公理化吗？
请问这个如何做？
国外的人数学真的那么差么？
为什么多项式的根是系数的连续函数？
为什么行列式恰好能表示体积？