为什么香农要将信息熵公式要定义成 -Σp·log₂(p) 或 -∫p·log₂(p)dp？ 第1页
1
babyquant 网友的相关建议:
我觉得不把负号变成对数里的倒数是说不清的。
可以看成sum（p*log（1/p））更好理解：
一个随机变量有8种可能，相当于8个事件，如果是0和1表示，一共需要log2（8）=3bit
换句话说，如果一个事件的概率是1/8，需要log2（8）=3bit
再换句话说，如果一个事件的概率是p，需要log2（1/p）bit
再泛化，概率是变量，就是log2（1/p（x））
再泛化，2是变量，就是log（1/p（x））
那么，既然表示其中一个事件需要这么多比特，那么表示所有事件平均需要多少bit呢？很自然就是求期望：
sum（p（x）log（1/p（x）））
把倒数变成负号
-sum（p（x）logp（x））
qinlibo_nlp 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
今天看到“人工智能没有欲望，只有人工智能管理人类社会才能实现大同社会”这句话，想听听大家怎么说？如何在三十岁之前做到年薪百万？
目前的人工智能离可以自己给自己写代码编程还有多远？
人形机器人的研究的意义是什么？
阿里巴巴达摩院发布 2022 十大科技趋势，今年的趋势预测有哪些亮点？
神经网络的万能逼近定理已经发展到什么地步了？
如何通俗的解释交叉熵与相对熵？
图像处理和机器学习有什么关系？
为什么香农要将信息熵公式要定义成 -Σp·log₂(p) 或 -∫p·log₂(p)dp？
控制的未来在哪里？
前一个讨论
怎么知道那些企业(集团)经历过债务重组？
下一个讨论
一个交易者最基本的素养是素养是什么？
相关的话题
马化腾称「王者荣耀将举办 AI 电竞赛，希望激发青年人对通用 AI 的研究兴趣」，有哪些看点值得关注？如何评价Facebook AI提出的ResMLP，对比Google的MLP-Mixer?
如何评价高晓松对 Master (AlphaGo) 战胜人类顶尖高手看法？
为什么现在大多数手机开机后不能直接使用指纹？
人工智能在发展到极高的程度之后能否算得上是一种生命？
为什么很多计算机上的阿拉伯数字零（0）中间都有一个斜杠（/）？
随着人工智能的技术成熟，黑客是否会消失？
如何评价建行的「无人银行」？
如何用python来统计MacPro的圆圈个数？
为什么同样是解决一个问题，别人就能想出算法，而我却绞尽脑汁，百般尝试也不得其法？
如何激怒一位人工智能（机器学习、深度学习、强化学习等）爱好者？
如何摆脱基因的控制？
目前，人工智能语音在说中文时的语气感觉上还比较机械，怎样使人工智能语音的语气更自然一些？
在李世石九段与 AlphaGo 的五局对弈中，有哪些值得回味之处？
如何看待AI杀入斗地主领域，快手DouZero击败344个AI排名第一？未来人类斗地主能斗过AI吗？
人工智能目前有哪些突破？
“大数据”已经过时了吗？
如何评价《罗辑思维》第 115 期对谢熊猫君翻译的关于人工智能的文章的重新演绎？
信息熵与热力学统计物理中的熵有什么区别和联系？
你见过出身最奇特的程序员是什么样的？
信息论的冗余剔除应用与密码学破解？
联邦学习是否有必要学习密码学知识?
国内人写代码的水平跟美国的差距在哪？
现在比较成熟的人工智能产品都有哪些？价格贵不贵？
OpenAI 发布文字生成图像工具 DALL·E 2，它的画作水平如何？从技术角度如何评价它的能力？
为什么感觉现在的主流是学计算机，IT，而不是金融？
医疗影像AI发展的核心技术是什么？
电气工程算不算IT行业？
2019 年人工智能行业又进入冬天了吗？
怎么看待刘慈欣说「IT 技术的增长造成人类进步的假象」？