为什么香农要将信息熵公式要定义成 -Σp·log₂(p) 或 -∫p·log₂(p)dp？ 第1页
1
babyquant 网友的相关建议:
我觉得不把负号变成对数里的倒数是说不清的。
可以看成sum（p*log（1/p））更好理解：
一个随机变量有8种可能，相当于8个事件，如果是0和1表示，一共需要log2（8）=3bit
换句话说，如果一个事件的概率是1/8，需要log2（8）=3bit
再换句话说，如果一个事件的概率是p，需要log2（1/p）bit
再泛化，概率是变量，就是log2（1/p（x））
再泛化，2是变量，就是log（1/p（x））
那么，既然表示其中一个事件需要这么多比特，那么表示所有事件平均需要多少bit呢？很自然就是求期望：
sum（p（x）log（1/p（x）））
把倒数变成负号
-sum（p（x）logp（x））
qinlibo_nlp 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
现在买车，要不要把「智能」作为影响购车决策的重要因素?为什么很多年轻人喜欢去深圳工作？
有尝试用多层自组织特征神经网络（MLSOM）来代替层次分析法（AHP）的吗？会有哪些问题需要注意？
如何看待饶毅的「人工智能还是伪智能」命题？
如何看待前员工发表《Keep的困顿与终局》？
IJCAI/AAAI 的真实水平到底如何？
这样是不是就可以把人类的所有图像内容穷举出来了?
有哪些职业容易被人工智能替代？
支持向量机（SVM）是什么意思？
这个世界正在杀死“艺术”，杀死“艺术家”吗？
前一个讨论
怎么知道那些企业(集团)经历过债务重组？
下一个讨论
一个交易者最基本的素养是素养是什么？
相关的话题
从进化的角度看，实现强人工智能，究竟是数据重要还是模型重要？如何评价李飞飞和李佳加盟谷歌？
如何看待字节跳动进军AI芯片领域？
从中国首份新 IT 报告看，有哪些要点？中国科技企业的未来竞争力在哪里？
人工智能已在哪些领域超越了人类的表现？
微软小冰和小娜哪个更有可能统治世界？
作为一名 IT 技术牛人是一种怎样的体验？
如何评价 DeepMind 在星际中的失利，以及 OpenAI 在 Dota 上的成功？
人工智能在哪些领域还落后于人类？
为什么硅谷偏向于民主党，而在硅谷的华人却偏向共和党？
如果要评选中国互联网教父，谁最可能会当选？
AlphaGo战胜围棋冠军和当年IBM深蓝战胜象棋冠军哪个意义和影响更大？
如果人工智能杀人，按照现在的法律应该追究谁的责任？
知乎的服务器架构在业界处于什么水平？和同规模的创业公司 (Startup) 相比较如何？
如何评价浙江大学发布的“绝影”四足机器人?
《2050：未来议程》（2021） 问题2：在工业时代，人被异化为机器；在数字时代，还存在人的异化吗？
神经网络，人工智能这块怎么入门？
能否介绍一下强化学习（Reinforcement Learning），以及与监督学习的不同？
为什么现在很多人不看好商汤科技？
有哪些见过的时间复杂度为无限大的算法？
如何评价以巴加沙冲突是「首次 AI 战争」？
为什么知乎上面对百度的批驳这么大而对腾讯的却大多是赞扬？
deepmind发表的neural processes(神经过程)，这个是怎么实现的呢？
如何看待兼修网络安全和人工智能?
如何看待诈骗分子 PS 环球影城票务门面上传地图被 AI 发现？AI 技术在反诈骗上有哪些应用和进展？
吴恩达表示「AI 的下一个发展方向，从大数据转向小数据」，你同意他的观点吗？
Meta 公布 AI 概念「Builder Bot」，能够通过语言建造 VR 世界，技术方向上有亮点？
为什么硅谷会诞生于加州？而不是美国东海岸或者其他地区？
人类被机器人统治的条件有哪些？
如何评价阿里巴巴推出的智能音箱「天猫精灵 X1」？