一段文字的包含的信息量能不能衡量？ 第1页
1
jianchichen 网友的相关建议:
信息量的严格数学定义就是 log(1/p)，其中p是该文本在所有可能出现的文本中的概率，简单的说就是文本越罕见，信息量就越大。打个比方说，“我爷爷活了九十三”，和“我昨天吃了一泡屎”比起来，虽然字数相同，但是后者的信息量无疑大很多。
你可以把信息量简单想象为在你知道全空间真实分布的情况下，对某个样本进行霍夫曼编码压缩后所需的比特数（此处的霍夫曼编码未必是逐字节的）。当然，我们是不可能知道所有文本的概率分布的，所以要靠段落、句子、短语、词的分布来近似。(log(1/(p1*p2))=log(1/p1)+log(1/p2))
比如虽然大多数人的名字是三个字，可是有个人的名字，却可以压缩成"他"，信息量就比较小。
1
相关话题
为什么说尾数为1、3、7、9的素数个数是基本相同的？为何这么多人称赞指标定理？
数学物理定理是道家的道么?
有哪些看似荒谬的事，却有着合理的数学解释？
抽象函数2f(x)f(y)＝f(x+y)+f(x-y)的通式是什么？？
一个半径为1的圆周上有三个点，求三个点构成的图形的面积的期望值？
极坐标表示 5000 到 50000 之间的素数为什么会形成一条螺旋线？
普通人对于现代数学各个分支的理解难度，从高到低排名是怎样的？
求助！有木有大神可以教一下我，这种高次幂如何快速简便运算，谢谢！？
请问姜文华的学术水平在统计圈属于什么位置？
前一个讨论
一种菜的学名？
下一个讨论
为什么有些人觉得死宅恶心？
相关的话题
直线可不可以看做是半径无限大的圆？如何评价望月新一？
在当下，数学家是否没有物理学家、化学家重要？
从零开始学数学，有谁知道从何处入手，谢谢？
数学中的充分条件、必要条件如何理解？
有没有一个函数求导后幂会变高？
负数与负数相乘为什么会得正？
如何评价丘成桐表态「重视基础科学别停留在口头」？那应该怎么重视呢？
是不是智商超高的人普遍研究数学或物理，很少有研究文学历史这类的?为什么大家普遍认为理科好就是智商高?
你最喜欢的公式/定理是？
在数学大题解答中什么样的排版会让老师看的舒服和清楚？
如果有人想走遍中国所有的省级行政区（含港澳台），总路程最小可以是多长？
如何定义或描述数学的全貌？
为什么7×5=5×7？
数学必修四最后一课叫简单的三角恒等变换，就想问问是不是还有什么更难的三角函数？
拓扑学（点集拓扑和代数拓扑基础）和范畴论有什么双语教材？
如何理解「梅涅劳斯定理」和「塞瓦定理」，这两个定理在实际中有什么应用？
五年级孩子过于喜欢数学怎么办？
既然负数开平方可以拓展出一个复数系，那 1/0 也可以拓展出新的数系吗？
Hatcher的代数拓扑自学有无其他参考?
如何判断级数lnn/n^2(从1到无穷)收敛或发散？
如果你来讲《高等代数》课程，你会如何设计？
如何看待靠指责别人来发泄自己的喷子？
在你的研究领域(物理)里，有哪些数学课是应该在读本科的时候学的？
一段文字的包含的信息量能不能衡量？
数学思维与工程思维的区别与联系是什么？
如何证明对任意给定的正数e，存在M上的矩阵范数||A||，满足不等式||A||<=谱半径+e?
魔方最少知道几个方格就可以推算出其他所有格呢？
你见过哪些美妙的函数图像？
小偷能逃出无数个警察的包围圈吗？