为什么香农要将信息熵公式要定义成 -Σp·log₂(p) 或 -∫p·log₂(p)dp？ 第1页
1
babyquant 网友的相关建议:
我觉得不把负号变成对数里的倒数是说不清的。
可以看成sum（p*log（1/p））更好理解：
一个随机变量有8种可能，相当于8个事件，如果是0和1表示，一共需要log2（8）=3bit
换句话说，如果一个事件的概率是1/8，需要log2（8）=3bit
再换句话说，如果一个事件的概率是p，需要log2（1/p）bit
再泛化，概率是变量，就是log2（1/p（x））
再泛化，2是变量，就是log（1/p（x））
那么，既然表示其中一个事件需要这么多比特，那么表示所有事件平均需要多少bit呢？很自然就是求期望：
sum（p（x）log（1/p（x）））
把倒数变成负号
-sum（p（x）logp（x））
qinlibo_nlp 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
联邦学习/联盟学习 (Federated Learning) 的发展现状及前景如何？如何评价AlphaGo Zero？
如何看待 315 晚会曝光摄像头人脸识别遭滥用，需要如何解决？
世界上信息熵最大的语言是汉语吗？
如何看待人工智能系统 Libratus 战胜四位德州扑克顶级选手，获得最终胜利？
如何评价「棋圣」聂卫平称荣耀Magic3的AI能力达到围棋选手职业水平？
为什么女性程序员少于男性，因为女性不适合写程序吗？
为何微软不把 Windows 的默认字符集设置成 Unicode ？
如何评价 DeepMind 发表在 Nature 的论文公开无需人类棋谱的 AlphaGo Zero？
IT技术岗，上班自带电脑还是用公司的电脑？
前一个讨论
怎么知道那些企业(集团)经历过债务重组？
下一个讨论
一个交易者最基本的素养是素养是什么？
相关的话题
为什么技术总是被轻视？国内做技术能不能有较大发展？工业机器人普及之后会对社会产生什么影响？
谷歌、微软和苹果在改变世界这一点上，哪个更加牛逼一点？
你实践中学到的最重要的机器学习经验是什么？
是否有平台已经具备通过AI进行智能写作的能力？
自动驾驶能治首堵病吗？
如何系统地自学 Python？
大牛Bengio 团队最新的研究和我自己之前的研究成果重复了，应该怎么办？
如何理解 Graph Convolutional Network（GCN）？
如何评价高晓松对 Master (AlphaGo) 战胜人类顶尖高手看法？
iPhone在中国明明是销量前列的街机了，为什么还常被主流舆论当做炫富或者奢侈的对象？
语音交互要解决哪些问题，才能摘掉“人工智障”的帽子?
如何看待谷歌 Jeff Dean 用 AI 6 小时就能设计一款芯片，强力碾压集成电路设计专家？
为什么香农要将信息熵公式要定义成 -Σp·log₂(p) 或 -∫p·log₂(p)dp？
这张图想表达的意思是什么，编程语言？
哪些IT大厂有不带团队的专家路线？
为什么我说喜欢锤子手机，周围很多人都会觉得我被老罗洗脑了？
如何评价清华大学「天机芯」登上 Nature 封面，清华施路平团队发布全球首款异构融合类脑芯片？
你是否认同：机器人人工智能应该给人类提供便利，而不应该被资本家利用来消灭就业？
如何评价 DeepMind 发表在 Nature 上的使用深度强化学习对托卡马克等离子体进行磁控制？
如何看待任正非在国家科技大会上的发言？
算法研究属于数学专业还是计算机专业？
如何评价 AlphaGo 和李世石的第三盘棋？
从应用的角度来看，深度学习怎样快速入门？
Uber 无人车出车祸，全球第一起自动驾驶致其死亡的不幸事件发生，反映了哪些问题？会有何影响？
有线鼠标会被无线鼠标取代吗？
机器全面代替人工劳动力的那一天，你能如何生存下去？
普惠AI时代即将来临，开发者如何向AI开发转型？
AI人工智能开发，如何入门?
如果你现在是一个IT毕业生，你最想去国内的哪个城市或者具体的哪个公司发展，为什么？