为什么香农要将信息熵公式要定义成 -Σp·log₂(p) 或 -∫p·log₂(p)dp？ 第1页
1
babyquant 网友的相关建议:
我觉得不把负号变成对数里的倒数是说不清的。
可以看成sum（p*log（1/p））更好理解：
一个随机变量有8种可能，相当于8个事件，如果是0和1表示，一共需要log2（8）=3bit
换句话说，如果一个事件的概率是1/8，需要log2（8）=3bit
再换句话说，如果一个事件的概率是p，需要log2（1/p）bit
再泛化，概率是变量，就是log2（1/p（x））
再泛化，2是变量，就是log（1/p（x））
那么，既然表示其中一个事件需要这么多比特，那么表示所有事件平均需要多少bit呢？很自然就是求期望：
sum（p（x）log（1/p（x）））
把倒数变成负号
-sum（p（x）logp（x））
qinlibo_nlp 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
将记忆保存在电脑上，肉体坏死的人，算死亡了吗？如何看待Yoav Goldberg 怒怼来自MILA的GAN for NLG的paper?
程序员应该如何学习算法？
究竟什么是损失函数 loss function?
历史上有哪些曾经社会地位很高的职业由于科技的进步被淘汰？淘汰后的失业人员又是何去何从呢？
如何看待2017 年 11 月 28 日北京警方对红黄蓝幼儿园事件「未发现有人对儿童实施侵害」的通报？
什么是主动学习（Active Learning, AL）？
交通银行机器人是如何做到如此智能的？
一段文字的包含的信息量能不能衡量？
如果微软，谷歌，苹果中必须让一家企业的所有相关一切瞬间消失，选择哪个消失对人类生活影响最小？
前一个讨论
怎么知道那些企业(集团)经历过债务重组？
下一个讨论
一个交易者最基本的素养是素养是什么？
相关的话题
如何评价国产化GPU芯片四小龙：寒武纪、灵汐、壁仞、燧原？哪一家会最后成为英伟达的替代者？到了 2022 年，人工智能有哪些真正可落地的应用？
USC 大学教授、Pinscreen CEO Hao Li 是否存在论文造假、产品虚假宣传等问题？
在前沿科技领域，拥有话语权的中国企业有哪些，成果如何？
一个无监督学习算法，如何判断其好坏呢?
未来五年，数据科学家（Data Scientist）的岗位需求会如何变化？
为什么 Windows 不像 iOS、 macOS 一样隔年迭代？
为什么人工智能在围棋上几乎击败全人类，仍然不能完全解决交易问题？
未来信息技术高度发达的时代，计划经济有无可能取代市场经济，成为各个国家经济体制的主流？
哪些IT大厂有不带团队的专家路线？
现在流行的少儿编程是不是收智商税？
心理咨询师会被人工智能取代吗？
如何看待 24 岁北航博士侯涛刚毕业后受聘北京交通大学副教授？
如何评价FAIR提出的MaskFeat：一种适用图像和视频分类的自监督学习方法？
如何评价科大讯飞AI学习机T10发布会，有哪些亮点和升级？
会计会被机器代替吗?
谷歌、微软和苹果在改变世界这一点上，哪个更加牛逼一点？
为什么技术领域很多人有“连这种简单的都不懂吗”的风气？
人工智能最终会代替数学家或理论物理学家吗？
如何看待由 AI 绘制的漫画《Phaedo》？
有没有大佬给点建议，想学人工智能，那本科是学计科然后考研学人工智能或者本科直接读人工智能？
神经网络中的能量函数是如何定义的？
自然语言处理怎么最快入门？
如何看待科技部公布的首批国家新一代人工智能开放创新平台？
未来百度、阿里巴巴、腾讯三巨头谁会独领风骚？
如何评价「棋圣」聂卫平称荣耀Magic3的AI能力达到围棋选手职业水平？
AI（或者说神经网络/深度学习）能够实现科学（尤其是物理学）研究中提出假设这一步嘛？
人工智能会统治人类吗？
各位大佬觉得联邦学习可以研究的问题有些什么 小白了解一下这个水深不深?
如何看待周志华等人的新书《机器学习理论导引》？