究竟什么是损失函数 loss function? 第1页
1
david-kz 网友的相关建议:
损失函数不是一个严格的定义，或者你可以说，它和目标函数类似，就是一个用于极小化的函数。
目标函数是优化领域的叫法，不论是机器学习、传统优化、最优控制，只要问题可以写成min或者max开头的都是优化问题，那个极小化的函数就是目标函数。
损失函数在统计学习领域用的比较多，但是也只是一个用于最小化的函数，其结构并没有特别的形式，想怎么设计怎么设计。只要能让这个函数满足如下两点：
- 函数可以表达整个系统的所有合法状态；
- 函数可以衡量系统的某一指标，使得其最小值是人们对系统的期望状态。
和算法也没有关系，只是神经网络领域多用梯度下降、反向传播，但是叫什么函数和算法无关。
由于存在大量学科交叉，比如搞优化的去做神经网络，搞统计的来做传统优化等等，所以术语abuse的情形非常常见，目标函数-损失函数这个只是其中之一。由于优化问题框架广泛见于各种领域，尤其是工科领域，每个领域往往都会有自己对各个术语的叫法，弄清楚指的是什么即可，不用太纠结于细节定义。
1
相关话题
有尝试用多层自组织特征神经网络（MLSOM）来代替层次分析法（AHP）的吗？会有哪些问题需要注意？神经网络模型压缩好就业吗?
若 f∘f∘f＝f，则 f∘f 是恒等映射吗？
如何看待MXNet获得amazon官方支持首位？
如何评价Yann LeCun 说的「要研究机器学习，本科应尽量多学物理和数学课」？
有人说「真正的人工智能至少还要几百年才能实现」，真的是这样吗？
经过足够长的时间， AlphaGo 的棋谱能收敛到一张上吗？
一个函数经过傅立叶变换，再经过傅立叶逆变换得到的函数还是原函数吗？
是否存在这种审稿人思维：因为完全看懂了论文更增加了将之拒掉的几率？
ICLR 2019 有什么值得关注的亮点？
下一个讨论
数据库的冗余度是不是越小越好？
相关的话题
能否对卷积神经网络工作原理做一个直观的解释？自动化专业就业方向是什么，会变成程序猿吗？
多模态方面，有哪些牛组值得我们follow他们的工作？
AMD的CPU是否适合搭建深度学习主机？
在文本分类任务中，有哪些论文中很少提及却对性能有重要影响的tricks？
石头和塑料袋对于计算机传感器的差别在于什么？为什么无人驾驶系统会依然存在对周围环境的误判？
如果利用人工智能程序找到一个未见过的好听的和弦进行，但在现有乐理上得不到解释，你们会怎样看待？
从围棋角度看李世石与 AlphaGo 的第二局比赛有哪些关键之处？
若 f∘f∘f＝f，则 f∘f 是恒等映射吗？
人工智能时代，孩子需要培养哪些超越机器人的能力？
看了很多科幻电影，为什么每个人工智能都想成为人类呢？
深度学习做股票预测靠谱吗？
如何评价微软研究院开发的AI量化投资平台Qlib？
为何人类天真地认为人工智能永远服务于人类、不相信AI叛变？
深度学习到底是「实验科学」还是「理论科学」？能否称为「算法」？
如何计算CNN中batch normalization的计算复杂度（FLOPs）？
黎曼 ζ 函数为什么要那么解析延拓？
如何向人类同伴证明自己不是一个人工智能？
深度神经网络（DNN）是否模拟了人类大脑皮层结构？
如何理解空洞卷积（dilated convolution）？
如何评价 7 月 31 日一流科技开源的深度学习框架 OneFlow？
如何评价 DeepMind 的新工作 AlphaCode?
实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？
如何看待NVIDIA 即将开源的DLA？
数字图像处理的工作是用传统算法更多还是用深度学习更多?
目前网络或单机游戏中的 AI 能达到怎样的水平，未来的发展前景如何？
现在什么职业最容易被人工智能取代？
当前农业机械化都尚未普及的中国，未来可不可能跨级实现农业AI化？
除了深度学习，机器学习领域近年来还有什么热点吗？
AI军事指挥能力会超过人类最优秀的指挥官吗？