究竟什么是损失函数 loss function? 第1页
1
david-kz 网友的相关建议:
损失函数不是一个严格的定义，或者你可以说，它和目标函数类似，就是一个用于极小化的函数。
目标函数是优化领域的叫法，不论是机器学习、传统优化、最优控制，只要问题可以写成min或者max开头的都是优化问题，那个极小化的函数就是目标函数。
损失函数在统计学习领域用的比较多，但是也只是一个用于最小化的函数，其结构并没有特别的形式，想怎么设计怎么设计。只要能让这个函数满足如下两点：
- 函数可以表达整个系统的所有合法状态；
- 函数可以衡量系统的某一指标，使得其最小值是人们对系统的期望状态。
和算法也没有关系，只是神经网络领域多用梯度下降、反向传播，但是叫什么函数和算法无关。
由于存在大量学科交叉，比如搞优化的去做神经网络，搞统计的来做传统优化等等，所以术语abuse的情形非常常见，目标函数-损失函数这个只是其中之一。由于优化问题框架广泛见于各种领域，尤其是工科领域，每个领域往往都会有自己对各个术语的叫法，弄清楚指的是什么即可，不用太纠结于细节定义。
1
相关话题
如何评价深度学习相关顶级期刊论文难复现的问题？用生成模型做数据增强data augmentation时，如何从合成数据中筛选出质量较好的样本？
从围棋角度看李世石与 AlphaGo 的第二局比赛有哪些关键之处？
如何向人类同伴证明自己不是一个人工智能？
如何评价亚马逊AI新开源自动机器学习项目AutoGluon?
如何评价傅盛的猎豹机器人之夜？
如何看待 Deepmind 宣称最新版 AlphaGo 能让李世乭版本 AlphaGo 三子？
听九段国手范廷钰讲解人机对弈大战的 Live 是种怎样的体验？
硕士方向，选择迁移学习还是自然语言处理？
如何看待 TI7 上与 Dendi solo 的 OpenAI？
下一个讨论
数据库的冗余度是不是越小越好？
相关的话题
基于对比学习(Contrastive Learning)的文本表示模型【为什么】能学到语义【相似】度？如何评价 DeepMind 公司？
为什么学习深度学习感觉无法入门？
GAN的生成器是怎么产生图片的？
计算机系学生应该怎样正确管理自己的电脑？
现在机器学习工业界和学术界的差别越来越大了吗？尽早实习和踏实科研各有什么利弊？
「绝艺」成为中国国家围棋队指定训练 AI 后会有哪些影响？
人工智能真的不能达到人类的程度甚至超越人类？
人工智能会统治人类吗？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
为什么现在有这么多人工智能无用论？
如何看待「2020福州人工智能围棋大赛」疑似众多队伍使用开源程序「KataGo」参赛？
石黑浩的美女机器人如何评价？
有哪些人工智能变人工智障的事例？
如何评价余凯在朋友圈发表呼吁大家用 caffe、mxnet 等框架，避免使用 TensorFlow？
Batch normalization和Instance normalization的对比？
要装修房子，有什么好用的智能设备推荐吗？
人工智能从业者有哪些「职业护城河」？
如果因为AR识物错误，造成人员伤亡，相关技术企业需要承担责任吗？
有哪些相见恨晚的家居好物推荐？
如何评价微软正在开发的人工智能编程软件 DeepCoder？
如何评价 DeepMind 新提出的关系网络（Relation Network）？
如何看待2016年3月柯洁表示 AlphaGo「赢不了我」？
是否存在这样一个初等函数：它的三阶导数是其本身，而一、二阶导数不是其本身？
实验室一块GPU都没有怎么做深度学习？
初等函数之上有无定义「高等函数」？
深度学习在生物信息领域有什么应用？
ICML2020有哪些值得关注的工作?
如何看待字节跳动进军AI芯片领域？
计算机系学生应该怎样正确管理自己的电脑？