为什么香农要将信息熵公式要定义成 -Σp·log₂(p) 或 -∫p·log₂(p)dp？ 第1页
1
babyquant 网友的相关建议:
我觉得不把负号变成对数里的倒数是说不清的。
可以看成sum（p*log（1/p））更好理解：
一个随机变量有8种可能，相当于8个事件，如果是0和1表示，一共需要log2（8）=3bit
换句话说，如果一个事件的概率是1/8，需要log2（8）=3bit
再换句话说，如果一个事件的概率是p，需要log2（1/p）bit
再泛化，概率是变量，就是log2（1/p（x））
再泛化，2是变量，就是log（1/p（x））
那么，既然表示其中一个事件需要这么多比特，那么表示所有事件平均需要多少bit呢？很自然就是求期望：
sum（p（x）log（1/p（x）））
把倒数变成负号
-sum（p（x）logp（x））
qinlibo_nlp 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
人工智能是当前最好的计算机专业吗?中央处理器（CPU）有没有假货？
如何看待知乎的AI答主「四十二」？人工智能有可能理解生命的意义是什么吗？
在你的工作领域里，哪些岗位无法被 AI 取代？
如何证明Metropolis Hastings algorithms)能够达到马尔科夫稳态？
如何看待学霸君的高考机器人 Aidam 高考全国文科数学卷考了 134 分？
各位大佬觉得联邦学习可以研究的问题有些什么 小白了解一下这个水深不深?
如何制作个人学术主页？
现代的人工智能机器人是采用什么编程语言来写系统的？
如果你是图灵测试者，你会问机器什么问题？
前一个讨论
怎么知道那些企业(集团)经历过债务重组？
下一个讨论
一个交易者最基本的素养是素养是什么？
相关的话题
陆奇卸任百度总裁，百度 AI 的发展会受阻吗？如何评价 CVPR 2020的论文接收结果？有哪些亮点论文？
如何看待李沐老师提出的「用随机梯度下降来优化人生」？
伊利诺伊理工大学在线硕士人工智能专业，出来公司吃香吗？
如何看待 AlphaFold 在蛋白质结构预测领域的成功？
如何走通企业数智化落地的“最后一公里”，让无人工厂不再纸上谈兵？
人工智能为什么越来越看不懂了？
IT 公司需要前后端都懂的人吗？
如何看待“原谅宝”和推特上的“ChinaWakeUp”事件？
如何看待阿里达摩院研发的新冠肺炎 CT 影像 AI 诊断技术，平均识别不到 20 秒准确率达 96%？
如果所有人类都变成资本家，把机器人当作剥削对象，会发生什么？
信息熵与热力学统计物理中的熵有什么区别和联系？
如何评价清华大学沈向洋教授在快手讲课时说的「要避免传统社会语境里的偏见被带入AI」？
如何理解马云在世界人工智能大会上说的「保护哭喊的落后力量，一定会阻碍创新」？
如何以赵泠是个 AI 为开头，写一个故事？
谁是最知名的人工智能反派角色，有什么特点？
大数据听着很牛，实际上也很牛吗？
在前沿科技领域，拥有话语权的中国企业有哪些，成果如何？
如何看待SQuAD比赛中，阿里、MSRA机器阅读理解准确率超越人类？
只利用现有科技，不计成本的发展强人工智能，在短期内能成功吗？
知乎的服务器架构在业界处于什么水平？和同规模的创业公司 (Startup) 相比较如何？
我是一个运维工程师，每天都被各类事件搞得焦头烂额，顾此失彼，怎么才能摆脱这种局面呢？
如何看待自动化研究所乔红研究员当选2021年科学院院士？
如何评价周志华教授新提出的 Deep Forest 模型，它会取代当前火热的深度学习 DNN 吗？
想做机器人，有什么好的发展方向？
截止到2017年末（原为2014年），龙芯处理器的发展状况如何？
在苏联时期苏联人用什么计算机？
中央处理器（CPU）有没有假货？
用人工智能辅助法官判案可行么？
人工智能（AI）会埋葬哪些职业？