一段文字的包含的信息量能不能衡量？ 第1页
1
jianchichen 网友的相关建议:
信息量的严格数学定义就是 log(1/p)，其中p是该文本在所有可能出现的文本中的概率，简单的说就是文本越罕见，信息量就越大。打个比方说，“我爷爷活了九十三”，和“我昨天吃了一泡屎”比起来，虽然字数相同，但是后者的信息量无疑大很多。
你可以把信息量简单想象为在你知道全空间真实分布的情况下，对某个样本进行霍夫曼编码压缩后所需的比特数（此处的霍夫曼编码未必是逐字节的）。当然，我们是不可能知道所有文本的概率分布的，所以要靠段落、句子、短语、词的分布来近似。(log(1/(p1*p2))=log(1/p1)+log(1/p2))
比如虽然大多数人的名字是三个字，可是有个人的名字，却可以压缩成"他"，信息量就比较小。
1
相关话题
数学上一共有多少维度?一个天资平平，数学基础非常差的高一学生，打算日后进行纯数研究，是否应该对其进行劝退？
数学专业，老师发了个自己的论文要看，基本上看不懂，有么有大佬看看要什么知识基础？
量子力学和概率学有什么关系吗？
如何评价姜新文老师提出的NP=P这篇文章？
如何评价陈天权《数学分析讲义》？
没有视觉的生物，它们的数学和物理学会是怎样的？
数值分析中割线法的收敛阶是如何证明的?
在游戏中暴击率90，十次攻击会暴击九次吗，如果80暴击率的对手反而十次全部暴击，暴击率的意义是什么？
如何用数学知识解答「在进行社区大规模核酸检测时，分成几人一组进行混检效率最高」？
前一个讨论
一种菜的学名？
下一个讨论
为什么有些人觉得死宅恶心？
相关的话题
经济学数学化的利弊都有什么？如何看待经济学不断数学化的趋势？数学各领域的巨著或者非常深入的教材是什么？
此函数式如何求最小值？
如何用初等方法证明k阶齐次线性常系数递推数列的通项公式？
信息熵极低的文字会是什么样子？信息熵极高的文字又是什么样子？
设r是有单位元的非零环若r是有限环，则r的素理想是极大理想如何证明？
目前世界上最快的信息传输速度极限是每秒多少字节？
零基础如何自学才能达到数学系本科水平？
怎么积∫[0, 1] ln(1＋x²)/(1＋x) dx？
数学中，有哪些方程和思想让你体会到了美感？
怎么积∫[0, 1] ln(1＋x²)/(1＋x) dx？
是否存在仅在一点可导且该点导数不为0的函数？
一维布朗运动的最大回撤的概率密度分布有没有解析解？
你所在的研究领域里，有哪些工作的结果虽然不是造假，但是是精挑细选出来的?
为何常用偶数进制却少见奇数进制？
代数学莫宗坚的这道题怎么做?
第五题如何证明呢？
数学草稿本需要很工整吗？
如果一个人无意捡到了哥德巴赫猜想的证明，应该如何处理？
这个问题怎么做?最后怎么解出多项式？
为什么我会觉得证明极限的过程完全是在套公式？
为什么由连续整数的行列式（三阶及以上）数值为0？
工信部下架 106 款侵害用户权益APP，包括豆瓣、唱吧等，还有哪些信息值得关注？
如何直观地说明为什么前 n 个自然数的立方和等于和的平方？
中国在数学领域让你最引以为豪的成果是什么？
给日本的女友寄东西，填收件人信息把姓氏写漏一个字母，正好是她爸爸收的件，她爸爸非常愤怒，怎么办？
成为一个数学家有多难？
围棋黑子贴7.5目，有数学理论依据吗？
如何理解分形的维度？
使用泰勒公式进行估算时，在不同点展开的区别和意义是啥?