究竟什么是损失函数 loss function? 第1页
1
david-kz 网友的相关建议:
损失函数不是一个严格的定义，或者你可以说，它和目标函数类似，就是一个用于极小化的函数。
目标函数是优化领域的叫法，不论是机器学习、传统优化、最优控制，只要问题可以写成min或者max开头的都是优化问题，那个极小化的函数就是目标函数。
损失函数在统计学习领域用的比较多，但是也只是一个用于最小化的函数，其结构并没有特别的形式，想怎么设计怎么设计。只要能让这个函数满足如下两点：
- 函数可以表达整个系统的所有合法状态；
- 函数可以衡量系统的某一指标，使得其最小值是人们对系统的期望状态。
和算法也没有关系，只是神经网络领域多用梯度下降、反向传播，但是叫什么函数和算法无关。
由于存在大量学科交叉，比如搞优化的去做神经网络，搞统计的来做传统优化等等，所以术语abuse的情形非常常见，目标函数-损失函数这个只是其中之一。由于优化问题框架广泛见于各种领域，尤其是工科领域，每个领域往往都会有自己对各个术语的叫法，弄清楚指的是什么即可，不用太纠结于细节定义。
1
相关话题
CPU和GPU跑深度学习差别有多大？人工智能会让未来的广告变成什么样子？
如何理解马云在世界人工智能大会上说的「保护哭喊的落后力量，一定会阻碍创新」？
如何系统学习机器学习？
卷积神经网络中卷积核是如何学习到特征的？
如何系统学习机器学习？
人工智能现在的发展前景如何？
为什么机器学习解决网络安全问题总是失败?
f（x,y)->(x,y),是2维实数空间的 一一映射函数，f连续，f的反函数是否也连续，why？
从今年校招来看，机器学习等算法岗位应届生超多，竞争激烈，未来 3-5 年机器学习相关就业会达到饱和吗？
下一个讨论
数据库的冗余度是不是越小越好？
相关的话题
全连接层的作用是什么？历史上有哪些曾经社会地位很高的职业由于科技的进步被淘汰？淘汰后的失业人员又是何去何从呢？
你能否在不传递指针的情况下通过函数交换两个变量的值，如果可以请说明方法，如果不行请分析原因。?计算机？
机器全面代替人工劳动力的那一天，你能如何生存下去？
如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？
如何评价「神经网络本质不过是初中生都会的复合函数」？
在集成电路设计领域（数字，模拟），人工智能有无可能取代人类？
请问人工神经网络中的activation function的作用具体是什么？为什么ReLu要好过于tanh和sigmoid function?
计算机视觉中video understanding领域有什么研究方向和比较重要的成果？
如何把梯度传递过Argmax?
国外AI技术成熟，为什么在AI风控领域中国反超了国外？
现在的人工智能是否走上了数学的极端？
如何看待大厂争相发布 数字人 / 虚拟人 / 数智人，有哪些关键信息值得关注?
如何理解深度学习源码里经常出现的logits？
如何证明Metropolis Hastings algorithms)能够达到马尔科夫稳态？
如何看待李国杰院士在科学网发文称，国内 AI 研究「顶不了天、落不了地」，该想想了？
如何评价「Patches are all you need」?
人工智能技术会不会最终赶上微积分的历史地位？
如何理解 natural gradient descent?
Batch Normalization 训练的时候为什么不使用 moving statistics？
现大二，准备做大学生创新创业项目计划 ，目前定的方向是深度学习+畜牧业／养殖业，有什么建议给我们吗？
Transformer在工业界的应用瓶颈如何突破？
如何看待前员工发表《Keep的困顿与终局》？
Resnet是否只是一个深度学习的trick？
如何评价周志华教授新提出的 Deep Forest 模型，它会取代当前火热的深度学习 DNN 吗？
自然语言处理怎么最快入门？
为什么Transformer要用LayerNorm？
现大二，准备做大学生创新创业项目计划 ，目前定的方向是深度学习+畜牧业／养殖业，有什么建议给我们吗？
积分，多重对数函数积分？
看了很多科幻电影，为什么每个人工智能都想成为人类呢？