为什么交叉熵（cross-entropy）可以用于计算代价？ 第1页
1
fffar 网友的相关建议:
一个函数，如果是非负的，且当predict与label越接近，函数值越小，那么该函数就可以作为代价函数。
是标签label， 是模型的预测结果。
交叉熵损失的形式是：
事实上，把log去掉，或者换成exp，都能作为代价函数。
因为这类公式的背后原理都是“排序不等式”。
排序不等式指的是：
当 ,
,
有，
其中是的一个置换。
简而言之，就是顺序和≥乱序和≥倒序和。大的数和大的数配对相乘，小的数和小的数配对相乘，这样的顺序和是最大的。
交叉熵损失函数越小，意味着预测与真实标签越接近。此时应该越大。根据排序不等式，对于任何一个，当比较大时，也应该比较大，反之同理。这是符合直觉的，当某一个类的真实label很大时，预测分数也应该比较高，这才能保证损失函数较小。
根据排序不等式的思想，我们可以对交叉熵进行魔改。
原始版本：
内积版本：
协方差版本：
和 分别是p和q的均值
如果再除以p和q的标准差，那么可以得到相关系数版本（或余弦距离版本）。
指数爆炸版本：
双重否定版本：
禁止套娃版本：
ling-jian-94 网友的相关建议:
交叉熵这东西你如果理解为两个概率分布会发现它就是nonsense，你得把对数里面那个分布理解为真实的随机变量分布，而将对数外面那个理解为观察到的频率。然后你就会发现它就是最最原始的MLE（最大似然估计）套了个时髦的壳而已。
比如说现在有一个真实分布为 的随机变量，我们对它进行了N次独立同分布实验，对于每个可能的结果x观察到的次数为 ，那么它的似然值就可以写成
很好理解对吧，乘法公式，把每次实验的概率乘起来，然后合并相同的项写成幂次。这是个乘积的形式，取个对数可以得到求和的形式：
这个式子有两个缺点，第一它是个负数，第二它的数值跟样本数有关，样本越多数值越小，因此除以一下总的样本数归一化，再取个相反数，然后改用频率表示：
这就齐活了。
因此可以看出，交叉熵最小实质上就是似然值最大。我们可以证明，在给定 的情况下，使交叉熵最小的分布P一定有 ，只需要用拉格朗日乘子法就可以：
求偏导得到
即 和 成比例，再根据归一化条件得到
因此在有模型约束的条件下求交叉熵最小值，也就是让模型输出的分布尽量能接近训练数据的分布。
1
相关话题
god bless us 为什么百度翻译是辛巴？对人工智能在未来的危险有哪些常见的误解？
Transformer中的Mask矩阵已经有顺序了，能去掉position embedding吗?
深度神经网络（DNN）是否模拟了人类大脑皮层结构？
OpenAI 发布文字生成图像工具 DALL·E 2，它的画作水平如何？从技术角度如何评价它的能力？
机器学习为生物学和医学研究带来了哪些改变？能解决哪些医学难题？
小样本学习中关于虚拟样本有效性的问题？
2021年人工智能领域有哪些关键性进展和突破？
医学生学习机器学习该如何入门？
如何把文章写的所有人都看不懂？
前一个讨论
下一个讨论
相关的话题
如何评价谷歌提出的 Pix2Seq：将目标检测看成语言建模，效果超过 DETR？如何评价英伟达于 GTC 2021 大会发布的基于 ARM 架构的 Grace CPU？
你爱上了一个人，你们俩一起游玩，一起逛街，最后发现你爱的只是一个高级智能机器人，你怎么想？
多模态方面，有哪些牛组值得我们follow他们的工作？
如何看待周志华等人的新书《机器学习理论导引》？
AI 有可能代替人类从事数学研究吗？
联邦学习/联盟学习 (Federated Learning) 的发展现状及前景如何？
什么是主动学习（Active Learning, AL）？
如何评价新Nature子刊Nature Machine Intelligence的出现？
在五到十年内，人工智能能复原成人影片中的被马赛克部分吗？
能否对卷积神经网络工作原理做一个直观的解释？
PyTorch中在反向传播前为什么要手动将梯度清零？
如何评价Yann LeCun 说的「要研究机器学习，本科应尽量多学物理和数学课」？
如何用一句话证明自然语言处理很难？
如果围棋已经被人工智能完全破解，得出某色必胜，那围棋还有什么意义？
如何看待 TI7 上与 Dendi solo 的 OpenAI？
人脸识别技术现在成熟了吗，为什么没有大范围应用呢？
有人说「真正的人工智能至少还要几百年才能实现」，真的是这样吗？
有没有根据一张人物的立绘正面像，自动生成同风格各侧面角度像并自动衍生表情的软件啊？
有尝试用多层自组织特征神经网络（MLSOM）来代替层次分析法（AHP）的吗？会有哪些问题需要注意？
Jacobian矩阵和Hessian矩阵的作用是什么？
TVM 最新发布版本 0.3 有哪些亮点？
为什么ViT里的image patch要设计成不重叠？
人工智能的发展最令人不安的是什么？
如何评价b站up主图灵的猫关于tiktok的视频？
在集成电路设计领域（数字，模拟），人工智能有无可能取代人类？
为什么自动控制理论这么玄学？
大家推荐一下，哪些学校的导师有在做量化交易、股票预测的？
请问怎么看待大学开设“法学（人工智能方向）”这个专业的？
统计模型和概率模型的区别是什么呢？