为什么香农要将信息熵公式要定义成 -Σp·log₂(p) 或 -∫p·log₂(p)dp？ 第1页
1
babyquant 网友的相关建议:
我觉得不把负号变成对数里的倒数是说不清的。
可以看成sum（p*log（1/p））更好理解：
一个随机变量有8种可能，相当于8个事件，如果是0和1表示，一共需要log2（8）=3bit
换句话说，如果一个事件的概率是1/8，需要log2（8）=3bit
再换句话说，如果一个事件的概率是p，需要log2（1/p）bit
再泛化，概率是变量，就是log2（1/p（x））
再泛化，2是变量，就是log（1/p（x））
那么，既然表示其中一个事件需要这么多比特，那么表示所有事件平均需要多少bit呢？很自然就是求期望：
sum（p（x）log（1/p（x）））
把倒数变成负号
-sum（p（x）logp（x））
qinlibo_nlp 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
2022 年初，你认为哪项成果代表了现在人工智能的最高水平？精通 R 是一种怎样的体验？
普通文科大学院和好的专门学校学it技术哪个对于留在日本工作前景更好？
AI人工智能开发，如何入门?
如何看待微软小冰写的诗？
人工智能达到了什么程度？
网络上一位长者提出了“完全不依靠人工神经网络与机器学习算法实现人工智能”的理论，大家怎么看？
人工智能趋势下，孩子学习编程有哪些意义，对未来发展有好处吗？
各种机器学习算法的应用场景分别是什么（比如朴素贝叶斯、决策树、K 近邻、SVM、逻辑回归最大熵模型）？
各行各业都在讨论信噪比，那么有什么提高信噪比的技术呢？
前一个讨论
怎么知道那些企业(集团)经历过债务重组？
下一个讨论
一个交易者最基本的素养是素养是什么？
相关的话题
听九段国手范廷钰讲解人机对弈大战的 Live 是种怎样的体验？智能机器时代，“技术中立”原则还有效吗？
如果智能机器人真的大批量取代人工，那真的会失业么？
如何看待特斯拉新演示的完全自动驾驶系统（FSD beta），会不会像苹果一样一举确立行业统治地位？
从信息编码学的角度看DNA碱基对对应特定胺基酸，有哪些独特的感受？
Meta 公布 AI 概念「Builder Bot」，能够通过语言建造 VR 世界，技术方向上有亮点？
我试图用 C 语言的共用体来实现 Base64 编码，为什么失败了？
计算机视觉（CV）的算法有哪些，具体都有哪些特点？
围棋人工智能的发展历程是怎么样的？
中国崛起超越美国会不会成为一件无意义的事？
腾讯开发微信花了多少钱？真的技术难度这么大吗？难点在哪里？
随着人工智能的不断增强，会出现背叛人类的好机会吗？
2017 年最令你震惊、悚然的数据是什么？
如何看待学霸君的高考机器人 Aidam 高考全国文科数学卷考了 134 分？
普惠AI时代即将来临，开发者如何向AI开发转型？
如何看待人机大战第四局李世石战胜 AlphaGo？
如何看待Scale AI这样的创业公司？
如何评价caffe作者贾扬清加入Facebook?
为什么机器人研究了几十年，还是给人感觉没有太大进展？
如何看待AI杀入斗地主领域，快手DouZero击败344个AI排名第一？未来人类斗地主能斗过AI吗？
全世界有上千种编程语言，为什么程序员都只学习那几个主流语言?
ICML 2018 有哪些值得关注的亮点?
xgboost原理？
人工智能会有宗教信仰吗？
用生成模型做数据增强data augmentation时，如何从合成数据中筛选出质量较好的样本？
人形机器人的研究的意义是什么？
Metaverse是什么？如何看待它？
如何评价余凯在朋友圈发表呼吁大家用 caffe、mxnet 等框架，避免使用 TensorFlow？
如何评价李开复称「如果对AI取代人毫无作为，人类将面临灾难」?
以目前的科技水平，做销售，在AI的哪个应用领域发展更好些？