为什么交叉熵（cross-entropy）可以用于计算代价？ 第1页
1
fffar 网友的相关建议:
一个函数，如果是非负的，且当predict与label越接近，函数值越小，那么该函数就可以作为代价函数。
是标签label， 是模型的预测结果。
交叉熵损失的形式是：
事实上，把log去掉，或者换成exp，都能作为代价函数。
因为这类公式的背后原理都是“排序不等式”。
排序不等式指的是：
当 ,
,
有，
其中是的一个置换。
简而言之，就是顺序和≥乱序和≥倒序和。大的数和大的数配对相乘，小的数和小的数配对相乘，这样的顺序和是最大的。
交叉熵损失函数越小，意味着预测与真实标签越接近。此时应该越大。根据排序不等式，对于任何一个，当比较大时，也应该比较大，反之同理。这是符合直觉的，当某一个类的真实label很大时，预测分数也应该比较高，这才能保证损失函数较小。
根据排序不等式的思想，我们可以对交叉熵进行魔改。
原始版本：
内积版本：
协方差版本：
和 分别是p和q的均值
如果再除以p和q的标准差，那么可以得到相关系数版本（或余弦距离版本）。
指数爆炸版本：
双重否定版本：
禁止套娃版本：
ling-jian-94 网友的相关建议:
交叉熵这东西你如果理解为两个概率分布会发现它就是nonsense，你得把对数里面那个分布理解为真实的随机变量分布，而将对数外面那个理解为观察到的频率。然后你就会发现它就是最最原始的MLE（最大似然估计）套了个时髦的壳而已。
比如说现在有一个真实分布为 的随机变量，我们对它进行了N次独立同分布实验，对于每个可能的结果x观察到的次数为 ，那么它的似然值就可以写成
很好理解对吧，乘法公式，把每次实验的概率乘起来，然后合并相同的项写成幂次。这是个乘积的形式，取个对数可以得到求和的形式：
这个式子有两个缺点，第一它是个负数，第二它的数值跟样本数有关，样本越多数值越小，因此除以一下总的样本数归一化，再取个相反数，然后改用频率表示：
这就齐活了。
因此可以看出，交叉熵最小实质上就是似然值最大。我们可以证明，在给定 的情况下，使交叉熵最小的分布P一定有 ，只需要用拉格朗日乘子法就可以：
求偏导得到
即 和 成比例，再根据归一化条件得到
因此在有模型约束的条件下求交叉熵最小值，也就是让模型输出的分布尽量能接近训练数据的分布。
1
相关话题
北京深鉴科技基于FPGA平台的DPU架构如何？如何评价 On Unifying Deep Generative Models 这篇 paper?
机器学习，深度神经网络等方法是否是正确的方向？
现在的AI能自动编写另一个AI代码吗？
如果所有人类都变成资本家，把机器人当作剥削对象，会发生什么？
验证集loss上升，准确率却上升该如何理解？
大家都是在哪些网站找数据？
人工智能技术会不会最终赶上微积分的历史地位？
为什么神经网络具有泛化能力？
脑机接口离实际应用还有多远？未来能否帮助障碍人士恢复生活能力？
前一个讨论
下一个讨论
相关的话题
机器学习包含哪些学习思想？CVPR 2018 有什么值得关注的亮点？
如何评价 CVPR 2020的论文接收结果？有哪些亮点论文？
能否使用神经网络来判断奇偶数？
商汤科技声明对美国将公司加入所谓「中国军工复合体企业」清单表示强烈反对，还有哪些信息值得关注？
为什么谈论深度学习工具时，很少有人讨论matlab的神经网络工具包？
计算机视觉和自然语言处理，哪个更具有发展前景呢，还是各有千秋呢？
《失控玩家》中的游戏有可能实现出来吗？
无人车为什么一定要用激光雷达做，双目视觉难道不行吗？
什么是人工智能？人工智能、机器学习、深度学习三者之间有什么关系吗？
机器学习（machine learning）在经济学领域是否有应用前景？
即将到来的2020，商汤、旷视、依图、云从、图森、地平线、寒武纪等几大AI独角兽公司会死掉一部分吗？
如何评价Deepmind自监督新作BYOL？
自动驾驶汽车在危险情况下可以不计后果地保护自己的主人吗？
如何看待斯坦福博士生2prime陆一平关于新冠起源的一系列言论？
如何开发一个自己的 TensorFlow？
机器学习里面的流形都是怎么用的？
Python中 __init__的通俗解释是什么？
除了深度学习，机器学习领域近年来还有什么热点吗？
机器人领域最好的会议是什么?
如何用自然语言处理判断一句话是否符合中文口语习惯？
机器学习中如何识别图片中的手是手背还是手心？
目前 AI 在疾病的诊断和治疗上，有哪些成功的应用？
伊利诺伊理工大学在线硕士人工智能专业，出来公司吃香吗？
G7 忙着「秀」，有哪些值得注意的细节？
控制的未来在哪里？
如何看待swin transformer成为ICCV2021的 best paper？
大数据，人工智能，机器人三者之间到底有什么关系？
AlphaGo 战胜了李世石，人工智能突破了围棋领域，这意味着什么？
如何看待最近一段时间旷视科技Face++、阿里、小米、京东、科大讯飞和地平线等相继在南京建立研发中心？