为什么香农要将信息熵公式要定义成 -Σp·log₂(p) 或 -∫p·log₂(p)dp？ 第1页
1
babyquant 网友的相关建议:
我觉得不把负号变成对数里的倒数是说不清的。
可以看成sum（p*log（1/p））更好理解：
一个随机变量有8种可能，相当于8个事件，如果是0和1表示，一共需要log2（8）=3bit
换句话说，如果一个事件的概率是1/8，需要log2（8）=3bit
再换句话说，如果一个事件的概率是p，需要log2（1/p）bit
再泛化，概率是变量，就是log2（1/p（x））
再泛化，2是变量，就是log（1/p（x））
那么，既然表示其中一个事件需要这么多比特，那么表示所有事件平均需要多少bit呢？很自然就是求期望：
sum（p（x）log（1/p（x）））
把倒数变成负号
-sum（p（x）logp（x））
qinlibo_nlp 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
有哪些可以自学机器学习、深度学习、人工智能的网站？老赵书托就这么烂尾了呀？
请问智能电力系统今后怎样发展的？大学生如果想从事这方面工作需要学习哪些方面知识？
人类目前能实现微型的力场护盾技术吗？
2021年，AI将何去何从？哪些技术与应用是下一个风口？能否推荐相关图书？
你所在的研究领域里，有哪些工作的结果虽然不是造假，但是是精挑细选出来的?
科学的发展能否完全掌握人类的脑行为，并最终用人工智能技术实现人类的全部意识活动？
你为什么选择华为？
日本政府明年开始推行 AI 婚配，利用的是什么原理？你接受 AI 婚配吗？
语义网所谓的“本体”的具体例子是什么？
前一个讨论
怎么知道那些企业(集团)经历过债务重组？
下一个讨论
一个交易者最基本的素养是素养是什么？
相关的话题
如何评价Yann LeCun 说的「要研究机器学习，本科应尽量多学物理和数学课」？AlphaGo 下棋的策略套路与人类策略有哪些相似吗？
怎样防止自己被窃听？
从信息编码学的角度看DNA碱基对对应特定胺基酸，有哪些独特的感受？
为什么香农要将信息熵公式要定义成 -Σp·log₂(p) 或 -∫p·log₂(p)dp？
人们为什么这么害怕潘多拉之盒？
如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？
如何看待阿里达摩院研发的新冠肺炎 CT 影像 AI 诊断技术，平均识别不到 20 秒准确率达 96%？
人工智能在生活中的应用都有哪些？
程序员可以练成肌肉男吗？
谈谈机器学习在网络安全领域的局限性，以及是否乐观？
怎么看待英国莱斯特大学副校长拟裁撤整个数学系以补贴 AI、计算机、量子科技等研究领域？
在中小学阶段设置人工智能相关课程对于培养人工智能人才具有哪些意义？如何推进会比较有效？
当前深度学习理论基础薄弱是否意味着我们应该放弃深度学习应用(计算机视觉、自然语言处理)？
一列满载硬盘的以 350km 时速运行的 16 节编组和谐号，它的带宽是多少？
为何中国人迷恋吴恩达的机器学习课？
计算机系学生应该怎样正确管理自己的电脑？
如何评价DALL-E模型的实现？
在一个非常繁忙的十字路口，红绿灯坏了，请问无人驾驶汽车能顺利通过吗？
美国封杀令已激活，中兴真的无力回天了吗？
为什么 VR 始终不能崛起呢？
在中小学阶段设置人工智能相关课程对于培养人工智能人才具有哪些意义？如何推进会比较有效？
人们为什么这么害怕潘多拉之盒？
如何评价阿里巴巴推出的智能音箱「天猫精灵 X1」？
如何看待 NIPS 2018 submission达到近 5000 篇？
随着人工智能的不断增强，会出现背叛人类的好机会吗？
拥有创造力的人类，某种观念下上是否已经可以称为“神族”？
deepmind发表的neural processes(神经过程)，这个是怎么实现的呢？
为什么一边有人劝退机械，一边又有人看好机器视觉？
不懂围棋也不明白人工智能，需要了解哪些入门知识才能看这场「人机大战」？