为什么香农要将信息熵公式要定义成 -Σp·log₂(p) 或 -∫p·log₂(p)dp？ 第1页
1
babyquant 网友的相关建议:
我觉得不把负号变成对数里的倒数是说不清的。
可以看成sum（p*log（1/p））更好理解：
一个随机变量有8种可能，相当于8个事件，如果是0和1表示，一共需要log2（8）=3bit
换句话说，如果一个事件的概率是1/8，需要log2（8）=3bit
再换句话说，如果一个事件的概率是p，需要log2（1/p）bit
再泛化，概率是变量，就是log2（1/p（x））
再泛化，2是变量，就是log（1/p（x））
那么，既然表示其中一个事件需要这么多比特，那么表示所有事件平均需要多少bit呢？很自然就是求期望：
sum（p（x）log（1/p（x）））
把倒数变成负号
-sum（p（x）logp（x））
qinlibo_nlp 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
武侠小说都写，废了坏人的武功，让他没办法害人，可万一这个人智力超群，武功没了，他照样害人啊？如何评价《最强大脑》第四季第一期中人机对战？
与其让计算机拥有人类的模糊思考，为什么不想办法让人类拥有计算机的高速计算能力？
如何看待字节跳动 AI 实验室总监李磊入职 UCSB？
意识的生物学基础到底是什么？
2021 年人工智能、大数据技术与机器人工程蝉联最热专业前三，体现了哪些趋势？未来前景如何？
如何评价谷歌刚推出的Cloud AutoML？
机器人有办法绕开人类为他们设定的三大原则并统治人类吗？
如何评价荣耀V10？
目前强化学习在控制领域的应用有哪些？
前一个讨论
怎么知道那些企业(集团)经历过债务重组？
下一个讨论
一个交易者最基本的素养是素养是什么？
相关的话题
怎样实现强人工智能?如何看待国务院印发的 2 万多字人工智能发展规划？
历史上由于技术进步而被淘汰的职业，都是如何处理失业率、社会稳定 与 再就业问题的？
如何看待 24 岁北航博士侯涛刚毕业后受聘北京交通大学副教授？
如何评价“五道口老实人报”微信公众号发表的《老实人的归国与失身》一文？
FC 游戏《中国象棋》中，困难难度是真的在计算棋谱吗？
香农的信息论之美在于什么？
2021 年人工智能、大数据技术与机器人工程蝉联最热专业前三，体现了哪些趋势？未来前景如何？
如何看待萧井陌办IT培训班？
民航客机距离完全不需要飞行员的自动驾驶还有多远？
AlphaGo战胜围棋冠军和当年IBM深蓝战胜象棋冠军哪个意义和影响更大？
世界首条仿生鲸鲨现身上海海昌海洋公园，能上浮下潜自主游动，还能搭载不同传感器，你觉得搭载些什么好呢？
如何看待 Facebook 首席 AI 科学家 Yann LeCun 被群骂？
算法研究属于数学专业还是计算机专业？
人类大脑的聪慧程度以 IQ 为标准，那么人工智能的水平用什么指标来衡量呢？
机器学习系统MLSys中有哪些比较有前途的研究方向？
人工智能要有自主意识有创造力，才能全面超越人类，这个时候人工智能才可怕，这话对吗？
5-10年后，你觉得哪些科技会让我们“遗忘”现在的生活？
理工科本科生该如何成为双证专利律师？
如何评价 DeepMind 在星际中的失利，以及 OpenAI 在 Dota 上的成功？
编程和研究原子弹哪个更难？
如何理解「香农定理」，包含哪些内容，它的发现有什么意义？
有监督和无监督学习都各有哪些有名的算法和深度学习？
软件工程女生毕业不想干程序员能做什么IT类的职位呀?
人类在过去两百年中积累起来的技术红利，是否已经耗尽？技术范式是否将进入几百年的停滞期？
在你的工作领域里，哪些岗位无法被 AI 取代？
百度学术能否替代 Google 学术网站？有没有其他选择？
人工智能是会导致大量失业，还是会创造更多就业机会？
请问国内有什么好的代理IP(http)提供商?
地球上总细胞量最多的细胞生物是什么？