百科问答小站 logo
百科问答小站 font logo



一段文字的包含的信息量能不能衡量? 第1页

  

user avatar   jianchichen 网友的相关建议: 
      

信息量的严格数学定义就是 log(1/p),其中p是该文本在所有可能出现的文本中的概率,简单的说就是文本越罕见,信息量就越大。打个比方说,“我爷爷活了九十三”,和“我昨天吃了一泡屎”比起来,虽然字数相同,但是后者的信息量无疑大很多。

你可以把信息量简单想象为在你知道全空间真实分布的情况下,对某个样本进行霍夫曼编码压缩后所需的比特数(此处的霍夫曼编码未必是逐字节的)。当然,我们是不可能知道所有文本的概率分布的,所以要靠段落、句子、短语、词的分布来近似。(log(1/(p1*p2))=log(1/p1)+log(1/p2))

比如虽然大多数人的名字是三个字,可是有个人的名字,却可以压缩成"他",信息量就比较小。




  

相关话题

  有哪些神奇的级数求和? 
  数学和物理对一般人来讲真的有必要学那么难吗? 
  地球的圆是什么程度的圆? 
  如何求如下n阶导数? 
  上大学学了高等数学之后看高中的数学题是一种怎样的体验? 
  数学论文的作者是怎样排序的? 
  为什么高中不直接开设高等数学、线性代数、概率统计这几门课呢? 
  现代数学和理论物理已经发展到怎样一个令人震惊的水平了? 
  如何判断一个方阵变换会导致源向量模长缩小? 
  斐波那契数列是如何被应用到证券市场的? 

前一个讨论
一种菜的学名?
下一个讨论
为什么有些人觉得死宅恶心?





© 2025-05-23 - tinynew.org. All Rights Reserved.
© 2025-05-23 - tinynew.org. 保留所有权利