为什么香农要将信息熵公式要定义成 -Σp·log₂(p) 或 -∫p·log₂(p)dp？ 第1页
1
babyquant 网友的相关建议:
我觉得不把负号变成对数里的倒数是说不清的。
可以看成sum（p*log（1/p））更好理解：
一个随机变量有8种可能，相当于8个事件，如果是0和1表示，一共需要log2（8）=3bit
换句话说，如果一个事件的概率是1/8，需要log2（8）=3bit
再换句话说，如果一个事件的概率是p，需要log2（1/p）bit
再泛化，概率是变量，就是log2（1/p（x））
再泛化，2是变量，就是log（1/p（x））
那么，既然表示其中一个事件需要这么多比特，那么表示所有事件平均需要多少bit呢？很自然就是求期望：
sum（p（x）log（1/p（x）））
把倒数变成负号
-sum（p（x）logp（x））
qinlibo_nlp 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
试以「Siri 已失去控制」为开头写一个故事？Unicode 字符集中有哪些神奇的字符？
一个即将步入大学对编程感兴趣的学生，3 年能将 Java 学到什么程度，应怎样合理分配这 3 年？
各类科研领域中哪些公式，原理或定律的推出，用到了有趣的思维方式？
身为消费者，你对汽车人工智能有什么期待？
三维重建 3D reconstruction 有哪些实用算法？
编程和研究原子弹哪个更难？
机器全面代替人工劳动力的那一天，你能如何生存下去？
如何评价极限智囊团成员陈锴杰，年仅20岁就自称NASA研究员、在NASA工作的人工智能学者？
阿里巴巴达摩院发布 2022 十大科技趋势，今年的趋势预测有哪些亮点？
前一个讨论
怎么知道那些企业(集团)经历过债务重组？
下一个讨论
一个交易者最基本的素养是素养是什么？
相关的话题
Auto X的自动驾驶技术用了什么技术？入职后发现项目组代码异常混乱，是去是留？
OpenAI 首席科学家称 AI 或有点自主意识了，其中有哪些值得关注的信息？
如何看待大疆员工猝死？
IT 行业的工资是否虚高？
科技使社会进步，但人类个体也在面临信息过载，怎样解决这个矛盾？你觉得哪些好的技术和产品能给我们启发？
你遇到过哪些奇葩的变量名？
如何看待鄂维南院士等发起的机器学习联合研讨计划（c2sml.cn）？
如何看待「机器学习不需要数学，很多算法封装好了，调个包就行」这种说法？
如何评价傅盛的猎豹机器人之夜？
如何看待傅首尔对智能汽车的吐槽？智能汽车如何真正为出行带来便利？
如何看待阿里达摩院研发的新冠肺炎 CT 影像 AI 诊断技术，平均识别不到 20 秒准确率达 96%？
AI 算法在芯片设计方法学和 EDA 工具中有哪些应用和潜力？
即将到来的2020，商汤、旷视、依图、云从、图森、地平线、寒武纪等几大AI独角兽公司会死掉一部分吗？
阿里巴巴 2015 年校招月薪降到 8K 了吗？
请问人工智能到底是什么？
如何评价MSRA最新的 Relation Networks for Object Detection？
与其让计算机拥有人类的模糊思考，为什么不想办法让人类拥有计算机的高速计算能力？
如果 2台 alphago 不断对战，是否会不断的强大？
如果要以公路运输存储介质的方式来传输信息，那么运输何种存储介质能尽可能地提高带宽？
钢琴一类乐器能否用穷举的方法写下所有可能的乐谱呢？
未来，在家工作在什么时候可以普及？
如何评价高晓松对 Master (AlphaGo) 战胜人类顶尖高手看法？
GAN 真的创造了新的信息吗？
历史上有哪些曾经社会地位很高的职业由于科技的进步被淘汰？淘汰后的失业人员又是何去何从呢？
深度学习在无人驾驶汽车上面的运用有哪些？
如何评价建行的「无人银行」？
什么是蒙特卡罗 Dropout(Monte-Carlo Dropout)？
如何评价 AI 仅用 5.4 秒就能设计出和文献相同的化学反应途径，堪称化学界「AlphaGo」？
多模态方面，有哪些牛组值得我们follow他们的工作？