百科问答小站 logo
百科问答小站 font logo



一段文字的包含的信息量能不能衡量? 第1页

  

user avatar   jianchichen 网友的相关建议: 
      

信息量的严格数学定义就是 log(1/p),其中p是该文本在所有可能出现的文本中的概率,简单的说就是文本越罕见,信息量就越大。打个比方说,“我爷爷活了九十三”,和“我昨天吃了一泡屎”比起来,虽然字数相同,但是后者的信息量无疑大很多。

你可以把信息量简单想象为在你知道全空间真实分布的情况下,对某个样本进行霍夫曼编码压缩后所需的比特数(此处的霍夫曼编码未必是逐字节的)。当然,我们是不可能知道所有文本的概率分布的,所以要靠段落、句子、短语、词的分布来近似。(log(1/(p1*p2))=log(1/p1)+log(1/p2))

比如虽然大多数人的名字是三个字,可是有个人的名字,却可以压缩成"他",信息量就比较小。




  

相关话题

  下面这两种情况为什么不一样,x为什么比y少了 ,后面一定要加x,y吗? 
  拓扑学上的紧致性怎样理解?有何运用? 
  数学和物理学的思维方式有什么不同?物理思维差的人能否搞好数学? 
  有哪些看似简单却无人能解的数学猜想? 
  阅读丘成桐自传《我的几何人生》有什么感悟? 
  整数和偶数真的是「一样多」的吗?(我知道康托尔那套,但这个表述真的正确吗?)? 
  如何证明以下等式? 
  100人坐飞机,第一个乘客在座位中随便选一个坐下,第100人正确坐到自己坐位的概率是? 
  如何证明1的pi次方等于1? 
  代数拓扑为什么研究同调? 

前一个讨论
一种菜的学名?
下一个讨论
为什么有些人觉得死宅恶心?





© 2024-11-21 - tinynew.org. All Rights Reserved.
© 2024-11-21 - tinynew.org. 保留所有权利