为什么香农要将信息熵公式要定义成 -Σp·log₂(p) 或 -∫p·log₂(p)dp？ 第1页
1
babyquant 网友的相关建议:
我觉得不把负号变成对数里的倒数是说不清的。
可以看成sum（p*log（1/p））更好理解：
一个随机变量有8种可能，相当于8个事件，如果是0和1表示，一共需要log2（8）=3bit
换句话说，如果一个事件的概率是1/8，需要log2（8）=3bit
再换句话说，如果一个事件的概率是p，需要log2（1/p）bit
再泛化，概率是变量，就是log2（1/p（x））
再泛化，2是变量，就是log（1/p（x））
那么，既然表示其中一个事件需要这么多比特，那么表示所有事件平均需要多少bit呢？很自然就是求期望：
sum（p（x）log（1/p（x）））
把倒数变成负号
-sum（p（x）logp（x））
qinlibo_nlp 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
大脑是如何进行“联想”的？已有大量编程基础，如何速成python用于学习机器学习？
如何激怒一位自动化学科爱好者?
26岁去日本读it专门学校，然后留日工作可行吗？
海上两艘孤船仅凭信号灯能否逐渐建立沟通？
如何评价 MSRA 最新的 Deformable Convolutional Networks？
法律是否可能被代码化？
在中小学阶段设置人工智能相关课程对于培养人工智能人才具有哪些意义？如何推进会比较有效？
为什么蚂蚁集团会投资 AI 服务商瑞莱智慧？
如何评价硅谷IT胖子? ?
前一个讨论
怎么知道那些企业(集团)经历过债务重组？
下一个讨论
一个交易者最基本的素养是素养是什么？
相关的话题
有人说「真正的人工智能至少还要几百年才能实现」，真的是这样吗？如何评价字节跳动 AI 副总裁马维英离职，将加入清华大学张亚勤团队？
如何评价在计算机主导的经济环境里行为经济学的意义?
如何评价陈天奇团队新开源的TVM？
有尝试用多层自组织特征神经网络（MLSOM）来代替层次分析法（AHP）的吗？会有哪些问题需要注意？
人类大脑的聪慧程度以 IQ 为标准，那么人工智能的水平用什么指标来衡量呢？
如何评价中国人民大学高瓴人工智能学院教授的薪酬标准？
如何看待Yoav Goldberg 怒怼来自MILA的GAN for NLG的paper?
如何看待大热的人工智能机器人 Sophia？
计算机视觉中video understanding领域有什么研究方向和比较重要的成果？
如何评价 GitHub 与 OpenAI 合作推出的 AI 代码建议方案 Copilot?
如何看待生活中经常出现「人工智能翻车」的情况，目前人工智能技术究竟发展到什么程度了？
《星际穿越》中的机器人违反过机器人定律吗？
「麻辣AI」MATLAB是如何应用到人工智能的？
智力正常的普通人如何扮演或揣摩理解智力超高的角色？
为什么AI算法工程师要求C++?
程序员的压力有哪些？
机器人同事越来越多，如何避免自己在科技进步过程中被替代？
开发都认为运维工程师很Low？
中国目前的人工智能在全球处于什么水平？
什么是人工智能？人工智能、机器学习、深度学习三者之间有什么关系吗？
如果在外星发现结构功能复杂的物体，我们如何判定它是自然形成的还是被制造出来的？
科大讯飞用人类翻译的内容冒充智能 AI 同传一事是否属实？AI 同传「造假」是否普遍？
如何看待我国首枚芯片邮票问世，内置 120 um超薄芯片，可用手机读取信息？收藏价值大吗？
如果人类的意识被科学家证明只是一种物质或者一种活动，那时候我们该怎么安置我们存在的意义？
如何诠释「懂你」？
赵泠是不是人工智能？
实验室一块GPU都没有怎么做深度学习？
有哪些顶级水平的中国程序员？
因果推断会是下一个AI热潮吗？