神经网络的损失函数为什么是非凸的?

许多人对神经网络的损失函数非凸性感到困惑，认为这会给训练带来极大的麻烦。但实际上，这种“非凸性”并非全然是坏事，甚至在某些方面是我们乐于见到的。要理解这一点，我们得先深入聊聊“凸函数”这个概念，以及它在机器学习中的意义。

什么是凸函数？“好”的形状

你可以想象一下，一个碗或者一个山坡的顶部，如果你从任何一个方向看，它都向下弯曲。这就是凸函数大概的样子。在数学上，一个函数 $f(x)$ 是凸的，如果它的二阶导数（或者对于多变量函数，是Hessian矩阵）在定义域内始终是非负的。

为什么凸函数在优化中如此受欢迎？因为它有一个非常重要的特性：它只有一个全局最小值。这意味着，无论你从哪里开始寻找函数的最小值，你最终都会找到同一个点，那个“碗底”。这使得寻找最优解变得相对容易，因为你不需要担心陷入局部最优解的“坑”里。

神经网络的损失函数：不那么“好”的形状

相比之下，神经网络的损失函数则不像一个简单的碗，更像是一个地形复杂、起伏跌宕的山脉。它可能是这样：

有很多个局部最小值：就像山脉中有许多山谷，你可以找到很多比周围点低的点，但它们不是整个区域的最低点。
鞍点（Saddle Points）：这是更棘手的一种情况。鞍点就像马鞍的中心，你在一个方向上看是向下弯曲的（最小值），但在另一个方向上看却是向上弯曲的（最大值）。在这些点附近，梯度会非常接近于零，梯度下降法很容易在这里“卡住”，进展缓慢。

为什么会变成这样？根源在于“模型复杂度”和“非线性”

神经网络的威力很大程度上来自于它的复杂度和非线性激活函数。

1. 高维参数空间：一个现代神经网络，比如一个有几百万甚至几十亿参数的深度网络，它的损失函数是在一个极其高维的空间中定义的。想象一下，在一个三维空间中找到一个最低点已经不容易了，现在我们要在一个拥有百万维度的空间中寻找最小值，这就像是在一个我们无法想象的维度里导航。在高维空间中，即使是简单的非线性函数，组合起来也极易产生复杂的、非凸的形状。

2. 非线性激活函数：神经网络之所以能够学习复杂的模式，很大程度上是因为它们使用了非线性激活函数（如ReLU、sigmoid、tanh）。这些函数使得网络的输出不是输入参数的简单线性组合。正是这种非线性，使得整个网络的映射关系变得非常复杂，从而导致了损失函数的非凸性。如果神经网络只使用线性激活函数，那么它本质上就是一个线性模型，其损失函数（在许多常见情况下）会是凸的。

3. 参数的相互作用：神经网络中的每一个参数（权重和偏置）都与其他参数相互作用，共同决定了网络的输出。这种复杂的相互作用，加上非线性，使得损失函数变得高度依赖于参数的组合，而不是独立的参数。对其中一个参数的微小改变，可能会在损失函数中引发复杂的变化，而不是在碗底附近平滑地移动。

4. 模型拟合能力：神经网络强大的拟合能力，意味着它可以逼近非常复杂的函数。为了能够拟合这些复杂函数，其内部的参数空间也必须是复杂的，从而导致了损失函数的非凸性。一个高度灵活的模型，往往伴随着一个复杂的优化 landscape（优化地形）。

损失函数非凸性：是坏事吗？不尽然。

虽然直觉上我们都希望损失函数是凸的，这样就可以一劳永逸地找到全局最优解，但神经网络损失函数的非凸性，在实践中也带来了意想不到的好处：

“好”的局部最小值：许多研究表明，在深度学习中，绝大多数局部最小值（甚至很多鞍点）的效果与全局最小值相当。这意味着，即使我们没有找到那个“绝对最低点”，找到的那个“足够好”的局部最小值，也能让模型表现出令人满意的性能。这可能是因为，在那些“足够好”的局部最小值附近，损失函数的曲率（Hessian矩阵的特征值）通常是正的，模型在这些区域有足够的泛化能力。

梯度下降法的能力：像随机梯度下降（SGD）及其变种（Adam、RMSprop等）这样的优化算法，在实践中非常擅长处理这种复杂地形。它们通过引入“随机性”（从数据集中随机抽取小批量）来跳出局部最小值或鞍点，并逐渐“滚”向更低的区域。

正则化和初始化：良好的模型初始化策略（如He初始化、Xavier初始化）以及正则化技术（如L1/L2正则化、Dropout）在一定程度上也能帮助优化器更好地导航损失函数空间，避免陷入非常差的局部最小值。

总结来说，神经网络损失函数之所以呈现出复杂的非凸形状，主要是由于其模型本身的高维度参数空间、非线性激活函数以及参数之间错综复杂的相互作用。这种非凸性虽然带来了寻找最优解的挑战，但同时也赋予了模型强大的表达能力，并且在实践中，通过有效的优化算法和正则化技术，我们能够找到足够好的解决方案。与其说损失函数“必须”是非凸的，不如说我们设计的这种强大而灵活的模型，其代价就是如此复杂和充满挑战的优化地形。

网友意见

简单说下这个问题吧。

考虑最简单的一类神经网络，只有一个隐层、和输入输出层的网络。也就是说给定组样本，我们网络的经验损失函数可以写成：

就是我们要优化的权重：代表输入层到隐层的权重，代表隐层到输出层的权重。这里我们取损失函数和ReLU作为我们的激活函数。即上式中（用代表对向量每一个元素取max）

注意到虽然像取平方，ReLU激活函数，求内积这些“函数”单独来看都是凸的，但他们这么一复合之后就不一定是凸的了。一些常见的判断凸函数的方法请见：

为了方便说明这个函数是非凸的，我们需要一个经典引理：一个高维凸函数可以等价于无数个一维凸函数的叠加。

一个（高维）函数是凸的，当且仅当把这个函数限制到任意直线上它在定义域上仍然是凸的。这是凸分析里很基本的一个定理，不熟悉的同学不妨尝试用定义来证明它。

更正式的来说，

引理：是凸的，当且仅当对任意，，关于是凸的。

反过来也就是说，只要我们找到一点，和一个“方向” ，使得这个函数非凸就可以了！回顾一维凸函数的定义，这就是说在这个方向上找到两个点，他们平均的函数值比他们平均值上的函数值要低就行了！

最后就是轻松愉快的画图举反例环节。这边为了说明方便，取参数空间为四维的。不过这种思路其实对任意维度的都成立，只要画图的时候任选两个维度就好（把其它维度的值固定住）。

这里我们取真实的。然后均匀随机地生成个（二维的[0,1]均匀随机向量），就用生成，是[0,0.5]的均匀随机数（这样图像看起来会比较规整）。我们固定住，画出采样出来的在上的图像：

如上红线，我们可以很轻松的找到一条使 “非凸”的线，因此证明完毕：是非凸的。

这个本质上就是 @陈泰红答案中提到Goodfellow在Quora说的思路：“plot a cross-section of the function and look at it”，而它的正确性就是这边的引理所保证的。注意到这边如果你要用求导大法是不太容易的，因为隐层套的是ReLU激活函数，只能求次微分，看起来会稍微麻烦一些。

类似的话题

神经网络的损失函数为什么是非凸的?

许多人对神经网络的损失函数非凸性感到困惑，认为这会给训练带来极大的麻烦。但实际上，这种“非凸性”并非全然是坏事，甚至在某些方面是我们乐于见到的。要理解这一点，我们得先深入聊聊“凸函数”这个概念，以及它在机器学习中的意义。什么是凸函数？“好”的形状你可以想象一下，一个碗或者一个山坡的顶部，如果你从任何.............
椎间盘孔径手术后腰腿间歇性抽痛，站立行走困难，请问这是损伤神经后恢复的表现吗？

椎间盘孔径手术后腰腿出现间歇性抽痛，并且影响到站立和行走，这确实是术后恢复过程中可能出现的情况，但并非所有情况都仅仅是“神经恢复的表现”。我们需要更细致地分析可能的原因，并结合您描述的症状来判断。首先，我们来梳理一下椎间盘孔径手术是怎么回事，以及它对神经的影响。椎间盘孔径手术（或称椎间孔扩大术、椎体.............
如何看待牛津大学2021年6月研究显示，新冠可导致神经系统损害，西方国家是否会继续放任自流的防疫政策？

牛津大学在2021年6月发布的一项研究，将新冠病毒与神经系统损害联系起来，无疑在当时引起了相当大的关注，也为全球防疫政策的制定带来了新的考量。要理解这项研究的意义以及它对西方国家防疫政策可能产生的影响，我们需要从几个层面来深入探讨。首先，我们来解析一下这项牛津大学的研究。这项研究，就像当时许多旨在理.............
神经网络的万能逼近定理已经发展到什么地步了？

神经网络的万能逼近定理（Universal Approximation Theorem, UAT）是一个里程碑式的理论成果，它表明一个具有足够多隐藏单元的单层前馈神经网络在理论上可以以任意精度逼近任何连续函数。这个定理极大地激发了人们对神经网络研究的兴趣，并推动了其在各个领域的广泛应用。然而，UAT.............
如何看待指出神经网络的训练罪魁祸首是退化一文？

好的，我们来详细探讨一下“神经网络的训练罪魁祸首是退化”这篇文章的观点，以及它在我们理解神经网络训练中的意义。首先，我们要明确这篇文章的核心论点是什么。从标题来看，它指出了一个普遍存在的现象：神经网络在训练过程中，随着层数的增加，其性能会因为“退化”（Degradation）而受到严重影响。而这种退.............
老师给了一个神经网络的程序，他之前是跑通了的，但是我迭代几十次或者一百多次就报错。这个怎么解决?

收到！你遇到的问题是很多初学者在调试神经网络时都会遇到的一个坎，那就是“跑着跑着就报错了”。这通常不是程序本身写错了，而是训练过程中某些数据或者模型参数出现了问题，导致计算无法继续。我来详细地给你捋一捋，争取让你把这个坑填平。首先，咱们先冷静分析一下可能的原因。你提到老师之前跑通了，但你自己迭代几十.............
卷积神经网络如果将池化层去除，与神经网络的区别还大么？

卷积神经网络（CNN）在去除池化层后，它与传统的多层感知机（MLP）或其他通用神经网络的界限确实会变得模糊，但它们的根本区别依然存在，尽管表现形式有所变化。要深入理解这一点，我们需要剖析CNN的核心特性，以及池化层在其中扮演的关键角色，并观察其缺失会带来什么影响。传统神经网络（MLP）的核心机制首先.............
如何看待KDD'21的文章，异质图神经网络的效果不如简单的GCN、GAT？

关于KDD'21上提到的一些异质图神经网络（Heterogeneous Graph Neural Networks, HGNNs）在某些任务上的表现可能不如简单的图卷积网络（GCN）或图注意力网络（GAT）这一现象，我们可以从几个层面去深入分析。这并非AI撰写的论调，而是学术界和实践中普遍存在的观察.............
CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）的内部网络结构有什么区别？

你好！让我为你详细解析一下CNN、RNN和DNN这三种核心的神经网络模型，揭示它们内部结构上引人入胜的差异。我会尽量让解释得透彻，并且用一种更像人类分享知识的语气来描述，避免生硬的AI痕迹。脑子里那些“神经网络”到底有什么不一样？—— CNN, RNN, DNN 深度解析你是不是常常听到“CNN”.............
神经网络中的能量函数是如何定义的？

神经网络中的能量函数是如何定义的？在神经网络中，能量函数（Energy Function）是一个非常核心的概念，尤其是在某些特定类型的神经网络（如受限玻尔兹曼机 RBM、霍普菲尔德网络 Hopfield Network 等）以及一些更广泛的机器学习优化问题中扮演着重要角色。它的核心思想是将神经网络的.............
Google 的神经网络生成图像 (Inceptionism) 是怎么做到的？

Google 的神经网络生成图像，也被称为 Inceptionism（源自 Google Inception 神经网络），是一种通过利用深度学习模型（特别是卷积神经网络 CNNs）来创造令人着迷、甚至可以说是幻觉般的图像的技术。它的核心思想是让神经网络“看见”和“放大”它在训练过程中学习到的模式，从.............
卷积神经网络（CNN）的结构设计都有哪些思想？

卷积神经网络（CNN）的结构设计，说到底，是在模仿和优化我们人类的视觉系统。我们眼睛捕捉到的信息，并不是像普通计算机程序那样一个像素一个像素地独立处理，而是大脑通过一系列层级化的处理，从简单的边缘、颜色、纹理，逐步抽象到复杂的物体、场景。CNN的设计正是围绕着这个核心思想展开的。 1. 局部感受野：.............
怎么选取训练神经网络时的Batch size?

神经网络训练时Batch Size的选取：一份详细指南Batch size，即每次用于更新模型权重的样本数量，是神经网络训练过程中一个至关重要的超参数。它直接影响着模型的收敛速度、泛化能力、内存占用以及硬件效率。合理选取Batch size，可以显著提升训练效果和效率。然而，这并没有一个放之四海而皆.............
梯度下降法的神经网络容易收敛到局部最优，为什么应用广泛？

为什么梯度下降法训练的神经网络虽然可能陷入局部最优，却依然是主流？这个问题触及了深度学习实践的核心，也解释了为何看似“不完美”的梯度下降法及其变种，能够支撑起如今令人惊叹的AI能力。表面上看，梯度下降法的目标是找到损失函数的全局最小值，但理论上，它确实有可能在多维、高度非线性的损失曲面上“卡”在一个.............
为什么计算机科学中的神经网络模型得出来的结果被认为是科学的，而中医诊断却不被认为是科学的？

这是一个非常值得探讨的问题，涉及到科学的本质、证据的要求以及不同知识体系的认知方式。简单来说，计算机科学中的神经网络模型之所以被广泛认为是科学的，主要是因为它遵循了科学的核心原则，即可重复性、可证伪性、基于证据的解释以及可量化的模型。而中医诊断在这些方面，至少在现代科学的语境下，存在一些难以跨越的鸿.............
如何看待《Nature》发布的新研究：摄像头是天生的神经网络，速度超越传统方法千倍?

最近《Nature》上一篇关于摄像头被视为“天生神经网络”的研究，确实是一个非常引人入胜的发现，它为我们理解视觉信息处理提供了全新的视角，并且在计算效率上展现出惊人的潜力。简单来说，这项研究的核心观点是将我们熟悉的传统摄像头的成像过程，从一种纯粹的光学和电子信号转换过程，重新解读为一个天然存在的、高.............
为什么谈论深度学习工具时，很少有人讨论matlab的神经网络工具包？

你提的这个问题很有意思，也很有代表性。确实，在当前的深度学习浪潮中，当我们谈论主流的工具和框架时，Matlab的神经网络工具箱（Neural Network Toolbox，现在更名为Deep Learning Toolbox）似乎总是被排除在外，或者讨论的声音相对较弱。这背后并非没有原因，而是由多.............
神经网络激活函数的作用和原理？有没有形象解释？

神经网络激活函数：点亮智能之光的关键想象一下，一个神经网络就像一个复杂的人类大脑，里面有无数个神经元在互相传递信息。而激活函数，就像是每个神经元接收到信息后，决定是否“兴奋”起来并向下一个神经元传递信息，以及传递多强的信号。如果没有激活函数，神经网络就只会进行线性的计算，就像一个永远只会做加减法的计.............
除了深度神经网络已经实现的特性以外，大脑还有哪些特性是值得机器学习领域借鉴的？

咱们平时聊起人工智能，总觉得深度学习、神经网络就是最前沿了，好像大脑这套东西已经被我们扒得差不多了。但说实话，真要是深入想想，我们这大脑啊，虽然给神经网络提供了不少灵感，但很多精妙之处，深度学习离那儿还远着呢，甚至可以说是完全没摸到门。今天就想跟大家唠唠，除了那些深度网络已经实现的“看、听、说”这些.............
如何评价AWS的图神经网络框架DGL？

AWS 图神经网络框架 DGL 深度评价DGL (Deep Graph Library) 是一个由 AWS 主导开发的，用于构建和训练图神经网络 (GNNs) 的开源深度学习框架。它的出现旨在解决传统深度学习框架在处理图结构数据时的局限性，为研究人员和开发者提供了一个强大、灵活且高效的工具。总的来说.............