究竟什么是损失函数 loss function? 第1页
1
david-kz 网友的相关建议:
损失函数不是一个严格的定义，或者你可以说，它和目标函数类似，就是一个用于极小化的函数。
目标函数是优化领域的叫法，不论是机器学习、传统优化、最优控制，只要问题可以写成min或者max开头的都是优化问题，那个极小化的函数就是目标函数。
损失函数在统计学习领域用的比较多，但是也只是一个用于最小化的函数，其结构并没有特别的形式，想怎么设计怎么设计。只要能让这个函数满足如下两点：
- 函数可以表达整个系统的所有合法状态；
- 函数可以衡量系统的某一指标，使得其最小值是人们对系统的期望状态。
和算法也没有关系，只是神经网络领域多用梯度下降、反向传播，但是叫什么函数和算法无关。
由于存在大量学科交叉，比如搞优化的去做神经网络，搞统计的来做传统优化等等，所以术语abuse的情形非常常见，目标函数-损失函数这个只是其中之一。由于优化问题框架广泛见于各种领域，尤其是工科领域，每个领域往往都会有自己对各个术语的叫法，弄清楚指的是什么即可，不用太纠结于细节定义。
1
相关话题
机器学习中的 Bias（偏差）、Error（误差）、Variance（方差）有什么区别和联系？2019 年人工智能行业又进入冬天了吗？
能否使用区块链的算力来解决深度学习训练？
国内的自动驾驶技术目前发展到什么阶段了？
如何评价深度学习相关顶级期刊论文难复现的问题？
到了 2022 年，人工智能有哪些真正可落地的应用？
人工智能现在的发展前景如何？
如何评价MXNet发布的1.0版本？
如何看待 ICLR2021 的拒稿被评为 ACL2021 的 Best Paper?
2020到2021年小样本学习取得重大进展了吗？
下一个讨论
数据库的冗余度是不是越小越好？
相关的话题
现在人工智能的某些学派，是不是跟中医有些像？机器学习，深度神经网络等方法是否是正确的方向？
什么是大模型？超大模型？Foundation Model？
deepmind发表的neural processes(神经过程)，这个是怎么实现的呢？
深度学习在生物信息领域有什么应用？
如何看待南京大学成立人工智能学院？
没有顶会的CV/NLP方向的博士生毕业出路在哪里？
连续的周期函数都有最小正周期吗？
请解释下variational inference？
如何评价谷歌用30亿数据训练的20亿参数ViT-G/14模型在 ImageNet 达到新的 SOTA？
mxnet的并行计算为什么这么牛，是什么原理？
AlphaGo 与李世石的第三局比赛中有哪些值得关注之处？
本科数学，目前在读计算机研一，毕业的时候想要应聘数据挖掘工程师，看了对数据挖掘工程师的招聘要求，感觉太宽泛了，希望能具体说一下现在应该准备哪些知识（算法？编程语言？其他？），谢谢！
如何评价沐神他们写的《动手学深度学习》这本书？
至强CPU，都有哪些你不知道的小秘密？
如果一个行业大佬向你说了一件幼稚的事情，你会觉得这话是另有玄机，还是大佬自己就没整明白呢？
人工智能、模式识别领域最终是否会被一种本质、通用的算法主导？
如何看待「腾讯首席探索官」网大为发起拍摄纪录片《零水日》，你觉得还有哪些问题值得关注？
网络上一位长者提出了“完全不依靠人工神经网络与机器学习算法实现人工智能”的理论，大家怎么看？
如果美国禁用 Tensorflow 和 Pytorch 对中国的人工智能有何影响？
如果有一个按钮，按下去之后人类现存的AI技术立刻消失，会对人类社会造成什么影响？
AI 自己不会思考，为什么叫做人工智能？
TensorFlow 中 padding 的 SAME 和 VALID 两种方式有何异同？
如何理解深度学习中的deconvolution networks？
人工智能可以为人类找寻他们心目中的另一半吗?
波士顿动力最新战争机器人，对各国军事平衡产生怎样影响？
验证集loss上升，准确率却上升该如何理解？
为什么有很多名人让人们警惕人工智能？
为什么图形学的会议siggraph的论文代码很少会开源？好像视觉如CVPR、ICCV开源的更多一些。
金融学及金融从业者如何应对人工智能和大数据？