损失函数的意义和作用—损失函数的作用是什么 收藏 0

训练深度学习神经网络的常用5个损失函数

神经网络在训练时的优化首先是对模型的当前状态进行误差估计，然后为了减少下一次评估的误差，需要使用一个能够表示错误函数对权重进行更新，这个函数被称为损失函数。

损失函数的选择与神经网络模型从示例中学习的特定预测建模问题（例如分类或回归）有关。 在本文中我们将介绍常用的一些损失函数，包括：

• 回归模型的均方误差损失
• 二元分类模型的交叉熵和hinge 损失

回归预测模型主要是用来预测连续的数值。所以我们将使用 scikit-learn的 make_regression() 函数来生成一些模拟数据，并使用这些数据构建回归模型。

我们将生成 20 个输入特征：其中 10 个特征将是有意义的，但 10 个与问题无关。

并且随机生成 1,000 个示例。 并且指定随机种子，所以无论何时运行代码都会生成相同的 1,000 个示例。

将实值输入和输出变量缩放到一个合理的范围通常可以提高神经网络的性能。所以我们要对对数据进行标准化处理。

StandardScaler也可以在scikit-learn库中找到，为了简化问题我们将在将所有数据分割为训练集和测试集之前对其进行缩放。

然后平均分割训练和验证集

为了介绍不同的损失函数，我们将开发一个小型多层感知器(MLP)模型。

根据问题定义，有20个特征作为输入，经过我们的模型。需要要预测的一个实值，所以输出层将有一个节点。

我们使用SGD进行优化，并且学习率为0.01，动量为0.9，两者都是合理的默认值。训练将进行100个轮，测试集将在每个阶段结束时进行评估，并且绘制学习曲线。

模型完成后就可以进行损失函数的介绍：

MSE

回归问题最常使用的是均方误差损失(MSE)。当目标变量的分布为高斯分布时，它是最大似然推理下的首选损失函数。所以只有当你有一个更好的理由时，才应该改变为其他损失函数。

如果在 Keras 中编译模型时将“mse”或“mean_squared_error”指定为损失函数，则使用均方误差损失函数。

下面的代码是上述回归问题的完整示例。

在运行示例的第一步中，打印了模型的训练和测试数据集的均方误差，因为保留了3位小数，所以显示为0.000

从下图中可以看出，模型收敛速度相当快，训练和测试性能保持不变。根据模型的性能和收敛特性，均方误差是回归问题的一个很好的选择。

MSLE

在具有广泛值的回归问题中，可能不希望在预测大值时像均方误差那样对模型进行惩罚。所以可以通过首先计算每个预测值的自然对数来计算均方误差。 这种损失称为 MSLE，或均方对数误差。

当预测值出现较大差异时，它具有放松惩罚效果的效果。当模型直接预测未缩放的数量时，它可能是更合适的损失度量。

keras中使用“mean_squared_logarithmic_error”作为损失函数

在下面的示例是使用MSLE损失函数的完整代码。

该模型在训练和测试数据集上的MSE都略差。这是由于目标变量的分布是一个标准的高斯分布，说明我们的这个损失函数可能不是很适合这个问题。

下图显示各训练轮次的对比MSE收敛得很好，但MSE可能过拟合了，因为它从20轮开始下降变得变换并且开始上升。

MAE

根据回归问题，目标变量的分布可能主要是高斯分布，但可能包含异常值，例如 远离平均值的大值或小值。

在这种情况下，平均绝对误差或 MAE 损失是一个合适的损失函数，因为它对异常值更稳健。 考虑到实际值与预测值的绝对差值，计算为平均值。

使用“mean_absolute_error”损失函数

这是使用MAE的完整代码

结果如下

下图可以看到，MAE确实收敛了但它有一个颠簸的过程。MAE在这种情况下也不是很适合，因为目标变量是一个没有大离群值的高斯函数。

二元分类问题是预测建模问题中两个标签中的一个。这个问题被定义为预测第一个或第二个类的值为0或1，一般情况下通常被实现为预测属于类值1的的概率。

我们也是使用sklearn生成数据这里使用圆问题，它有一个二维平面，有两个同心圆，其中外圆上的点属于类0，内圆上的点属于类1。为了使学习更具挑战性，我们还在样本中加入了统计噪声。样本量为1000，并加入10%的统计噪声。

数据集的散点图可以帮助我们理解正在建模的问题。下面列出的是一个完整的示例。

散点图如下，其中输入变量确定点的位置，颜色为类值。0是蓝色的，1是橙色的。

这里还是一半用于训练，一半用于测试，

我们还是定义一个简单的MLP模型，

使用SGD优化，学习率为0.01，动量为0.99。

模型训练200轮进行拟合，并根据损失和准确性评估模型的性能。

BCE

BCE是用于解决的二元分类问题默认损失函数。在最大似然推理框架下，它是首选损失函数。对于第1类的预测，交叉熵计算一个分数，该分数总结了实际和预测概率分布之间的平均差异。

在编译Keras模型时，可以指定binary_crossentropy作为损失函数。

为了预测类1的概率，输出层必须包含一个节点和一个\’ sigmoid \’激活。

下面是完整的代码：

该模型对问题的学习相对较好，在测试数据集上的准确率为83%，准确率为85%。分数之间存在一定程度的重叠，表明模型既不是过拟合也不是欠拟合。

下图中所示，训练效果很好。由于概率分布之间的误差是连续的，损失图是平滑的，而精度线图显示出凹凸不平，因为训练和测试集中的例子只能被预测为正确或不正确，提供的颗粒信息较少。

Hinge

支持向量机 (SVM) 模型使用Hinge 损失函数作为交叉熵的替代来解决二元分类问题。

目标值在是集合 [-1, 1] ，旨在与二进制分类一起使用。如果实际类别值和预测类别值的符号不同，则Hinge会得到更大的误差。在二元分类问题上它有时比交叉熵更好。

作为第一步，我们必须将目标变量的值修改为集合 {-1, 1}。

keras中它被称为\’ hinge \’。

在网络的输出层中，必须使用tanh激活函数的单个节点以输出介于 -1 和 1 之间的单个值。

下面是完整代码：

比交叉熵略差的性能，在训练和测试集上的准确性不到80%。

下图可以看出，模型已经收敛，分类精度图表明也已经收敛。

可以看到这个问题还是BCE比较好，这里可能的原因就是因为我们有一些噪声点导致的

作者：Onepagecode

深度学习：损失函数和优化器

在深度学习中，损失函数和优化器是两个核心概念，它们共同决定了模型的训练效果和性能。以下是对这两个概念的详细解释：

损失函数（Loss Function）是用于衡量模型预测值与实际值之间差异的函数。在深度学习中，损失函数的选择对于模型的训练至关重要，因为它直接指导了优化器如何调整模型参数以最小化预测误差。

常见的损失函数包括：

1. 均方误差（MSE, Mean Squared Error）：计算预测值与实际值之间差的平方的平均值。它对于较大的误差会给予更大的惩罚，因此适用于对误差敏感的任务。
2. 平均绝对误差（MAE, Mean Absolute Error）：计算预测值与实际值之间差的绝对值的平均值。与MSE相比，MAE对误差的惩罚更加均匀，不易受到极端值的影响。
3. 交叉熵损失（Cross-Entropy Loss）：常用于分类任务中，衡量预测概率分布与实际概率分布之间的差异。在多分类任务中，交叉熵损失与softmax激活函数配合使用，将神经网络的输出转换为概率分布。
4. 自定义损失函数：对于特定的任务，可能需要定义自定义的损失函数来更好地反映预测值与实际值之间的差异。

优化器（Optimizer）是用于更新神经网络权重的算法，它根据损失函数的梯度信息来调整模型参数，以最小化损失函数的值。优化器的选择对模型的训练速度和最终性能有着重要影响。

常见的优化器包括：

1. 随机梯度下降（SGD, Stochastic Gradient Descent）：每次迭代只使用一个样本来计算梯度并更新参数，具有计算量小、更新速度快的优点，但可能会引发较大的波动性。
2. 动量法（Momentum）：在SGD的基础上引入动量项，利用过去梯度的指数加权平均来加速收敛，减少摆动。
3. 自适应梯度下降（Adagrad）：对不同参数使用不同的学习率，对于更新频率较低的参数施以较大的学习率，对于更新频率较高的参数使用较小的学习率。
4. RMSProp：对Adagrad进行改进，使用梯度的平方的指数加权平均来调整学习率，避免了学习率过快衰减的问题。
5. Adam（Adaptive Moment Estimation）：结合了Momentum和RMSProp的优点，能够快速收敛并且减少训练时间。Adam优化器计算出每个参数的独立自适应学习率，不需要手动调整学习率的大小。

损失函数和优化器在深度学习中是密不可分的。损失函数定义了模型预测值与实际值之间的差异，而优化器则负责根据这个差异来调整模型参数。优化器通过计算损失函数的梯度来指导参数的更新方向，从而逐步减小预测误差。

在实际应用中，选择合适的损失函数和优化器对于模型的性能至关重要。不同的任务和数据集可能需要不同的损失函数和优化器组合来达到最佳的训练效果。因此，在训练深度学习模型时，需要根据具体任务和数据特点进行调参和优化。

综上所述，损失函数和优化器是深度学习中不可或缺的两个组件。它们共同决定了模型的训练效果和性能，选择合适的损失函数和优化器对于提高模型的准确性和泛化能力具有重要意义。

本文作者及来源:Renderbus瑞云渲染农场https://www.renderbus.com