损失函数不是一个严格的定义,或者你可以说,它和目标函数类似,就是一个用于极小化的函数。
目标函数是优化领域的叫法,不论是机器学习、传统优化、最优控制,只要问题可以写成min或者max开头的都是优化问题,那个极小化的函数就是目标函数。
损失函数在统计学习领域用的比较多,但是也只是一个用于最小化的函数,其结构并没有特别的形式,想怎么设计怎么设计。只要能让这个函数满足如下两点:
和算法也没有关系,只是神经网络领域多用梯度下降、反向传播,但是叫什么函数和算法无关。
由于存在大量学科交叉,比如搞优化的去做神经网络,搞统计的来做传统优化等等,所以术语abuse的情形非常常见,目标函数-损失函数这个只是其中之一。由于优化问题框架广泛见于各种领域,尤其是工科领域,每个领域往往都会有自己对各个术语的叫法,弄清楚指的是什么即可,不用太纠结于细节定义。