损失函数(损失函数的意义和作用) 收藏 0

训练深度学习神经网络的常用5个损失函数

神经网络在训练时的优化首先是对模型的当前状态进行误差估计，然后为了减少下一次评估的误差，需要使用一个能够表示错误函数对权重进行更新，这个函数被称为损失函数。

损失函数的选择与神经网络模型从示例中学习的特定预测建模问题（例如分类或回归）有关。 在本文中我们将介绍常用的一些损失函数，包括：

• 回归模型的均方误差损失
• 二元分类模型的交叉熵和hinge 损失

回归预测模型主要是用来预测连续的数值。所以我们将使用 scikit-learn的 make_regression() 函数来生成一些模拟数据，并使用这些数据构建回归模型。

我们将生成 20 个输入特征：其中 10 个特征将是有意义的，但 10 个与问题无关。

并且随机生成 1,000 个示例。 并且指定随机种子，所以无论何时运行代码都会生成相同的 1,000 个示例。

将实值输入和输出变量缩放到一个合理的范围通常可以提高神经网络的性能。所以我们要对对数据进行标准化处理。

StandardScaler也可以在scikit-learn库中找到，为了简化问题我们将在将所有数据分割为训练集和测试集之前对其进行缩放。

然后平均分割训练和验证集

为了介绍不同的损失函数，我们将开发一个小型多层感知器(MLP)模型。

根据问题定义，有20个特征作为输入，经过我们的模型。需要要预测的一个实值，所以输出层将有一个节点。

我们使用SGD进行优化，并且学习率为0.01，动量为0.9，两者都是合理的默认值。训练将进行100个轮，测试集将在每个阶段结束时进行评估，并且绘制学习曲线。

模型完成后就可以进行损失函数的介绍：

MSE

回归问题最常使用的是均方误差损失(MSE)。当目标变量的分布为高斯分布时，它是最大似然推理下的首选损失函数。所以只有当你有一个更好的理由时，才应该改变为其他损失函数。

如果在 Keras 中编译模型时将“mse”或“mean_squared_error”指定为损失函数，则使用均方误差损失函数。

下面的代码是上述回归问题的完整示例。

在运行示例的第一步中，打印了模型的训练和测试数据集的均方误差，因为保留了3位小数，所以显示为0.000

从下图中可以看出，模型收敛速度相当快，训练和测试性能保持不变。根据模型的性能和收敛特性，均方误差是回归问题的一个很好的选择。

MSLE

在具有广泛值的回归问题中，可能不希望在预测大值时像均方误差那样对模型进行惩罚。所以可以通过首先计算每个预测值的自然对数来计算均方误差。 这种损失称为 MSLE，或均方对数误差。

当预测值出现较大差异时，它具有放松惩罚效果的效果。当模型直接预测未缩放的数量时，它可能是更合适的损失度量。

keras中使用“mean_squared_logarithmic_error”作为损失函数

在下面的示例是使用MSLE损失函数的完整代码。

该模型在训练和测试数据集上的MSE都略差。这是由于目标变量的分布是一个标准的高斯分布，说明我们的这个损失函数可能不是很适合这个问题。

下图显示各训练轮次的对比MSE收敛得很好，但MSE可能过拟合了，因为它从20轮开始下降变得变换并且开始上升。

MAE

根据回归问题，目标变量的分布可能主要是高斯分布，但可能包含异常值，例如 远离平均值的大值或小值。

在这种情况下，平均绝对误差或 MAE 损失是一个合适的损失函数，因为它对异常值更稳健。 考虑到实际值与预测值的绝对差值，计算为平均值。

使用“mean_absolute_error”损失函数

这是使用MAE的完整代码

结果如下

下图可以看到，MAE确实收敛了但它有一个颠簸的过程。MAE在这种情况下也不是很适合，因为目标变量是一个没有大离群值的高斯函数。

二元分类问题是预测建模问题中两个标签中的一个。这个问题被定义为预测第一个或第二个类的值为0或1，一般情况下通常被实现为预测属于类值1的的概率。

我们也是使用sklearn生成数据这里使用圆问题，它有一个二维平面，有两个同心圆，其中外圆上的点属于类0，内圆上的点属于类1。为了使学习更具挑战性，我们还在样本中加入了统计噪声。样本量为1000，并加入10%的统计噪声。

数据集的散点图可以帮助我们理解正在建模的问题。下面列出的是一个完整的示例。

散点图如下，其中输入变量确定点的位置，颜色为类值。0是蓝色的，1是橙色的。

这里还是一半用于训练，一半用于测试，

我们还是定义一个简单的MLP模型，

使用SGD优化，学习率为0.01，动量为0.99。

模型训练200轮进行拟合，并根据损失和准确性评估模型的性能。

BCE

BCE是用于解决的二元分类问题默认损失函数。在最大似然推理框架下，它是首选损失函数。对于第1类的预测，交叉熵计算一个分数，该分数总结了实际和预测概率分布之间的平均差异。

在编译Keras模型时，可以指定binary_crossentropy作为损失函数。

为了预测类1的概率，输出层必须包含一个节点和一个\’ sigmoid \’激活。

下面是完整的代码：

该模型对问题的学习相对较好，在测试数据集上的准确率为83%，准确率为85%。分数之间存在一定程度的重叠，表明模型既不是过拟合也不是欠拟合。

下图中所示，训练效果很好。由于概率分布之间的误差是连续的，损失图是平滑的，而精度线图显示出凹凸不平，因为训练和测试集中的例子只能被预测为正确或不正确，提供的颗粒信息较少。

Hinge

支持向量机 (SVM) 模型使用Hinge 损失函数作为交叉熵的替代来解决二元分类问题。

目标值在是集合 [-1, 1] ，旨在与二进制分类一起使用。如果实际类别值和预测类别值的符号不同，则Hinge会得到更大的误差。在二元分类问题上它有时比交叉熵更好。

作为第一步，我们必须将目标变量的值修改为集合 {-1, 1}。

keras中它被称为\’ hinge \’。

在网络的输出层中，必须使用tanh激活函数的单个节点以输出介于 -1 和 1 之间的单个值。

下面是完整代码：

比交叉熵略差的性能，在训练和测试集上的准确性不到80%。

下图可以看出，模型已经收敛，分类精度图表明也已经收敛。

可以看到这个问题还是BCE比较好，这里可能的原因就是因为我们有一些噪声点导致的

作者：Onepagecode

机器学习笔记——损失函数

大家好，这里是好评笔记，公主号：Goodnote，专栏文章私信限时Free。本笔记介绍机器学习中常见的损失函数及其使用场景。

定义：

• 描述：MSE 衡量的是预测值和真实值之间的平方误差的平均值。对较大的误差会进行更大的惩罚，因此它对异常值（outliers）非常敏感。
• 应用场景：线性回归、岭回归等模型的损失函数。
• 优点：简单易于理解，容易求导和计算。
• 缺点：对异常值敏感，可能导致模型被少数异常样本主导。

定义：

• 描述：MAE 衡量的是预测值和真实值之间的绝对误差的平均值。它对每个误差的惩罚是线性的，因此对异常值的惩罚不如 MSE 严重。
• 应用场景：在对异常值不敏感的回归任务中使用。
• 优点：对异常值不敏感，能够更加稳定地反映模型性能。
• 缺点：在优化过程中，绝对值函数不可导，求解困难。

定义：

说明：: 双曲余弦函数，公式为 。

• 描述：对数余弦损失是Huber 损失的变体，它的行为类似于 MAE，同时对大误差有更小的增长率。
• 应用场景：适用于异常值影响较大的回归任务。
• 优点：具有平滑性，易于求导，对小误差敏感而对大误差鲁棒。
• 缺点：相比其他损失函数计算复杂度较高。

定义：

: 超参数，定义切换 MSE 和 MAE 的阈值。: 误差的绝对值。

• 描述：Huber 损失是MSE 和 MAE 的折中。对于小误差，使用 MSE；对于大误差，使用 MAE，从而对异常值有一定的鲁棒性。
• 应用场景：回归问题中存在异常值，但又不希望过于忽略异常值的场景。
• 优点：对小误差敏感，同时对大误差具有一定的抗干扰性。
• 缺点：参数 () 需要手动调节，不同数据集效果不同。

定义：

n: 数据点的总数。: 第 i 个真实值（必须为非负数）。: 第 i 个预测值（必须为非负数）。: 对 x 加 1 后取自然对数，用于平滑较小的值和避免对 0 的对数操作。

• 描述：MSLE 用于处理目标值差异较大且有显著指数增长趋势的情况。它更关注相对误差，而非绝对误差。
• 应用场景：如人口增长预测、市场销量预测等场景。
• 优点：对大数值的预测更稳定，对目标值的比例关系有更好的衡量。
• 缺点：当目标值非常小时，惩罚效果不明显。

定义：

• 描述：0-1 损失表示分类是否正确，0 为正确分类，1 为错误分类。它无法直接用于模型优化，只能用于评价模型性能。
• 应用场景：模型性能的评估，如准确率（Accuracy）的计算。
• 优点：简单直观，能够清晰判断分类是否正确。
• 缺点：不可导，无法用于梯度优化。

• 描述：交叉熵损失衡量的是预测分布和真实分布之间的距离。在二分类与 Sigmoid 函数结合；在多分类与 Softmax 函数结合。
• 应用场景：广泛用于逻辑回归、神经网络等分类任务。
• 优点：能够很好地度量概率分布之间的差异，梯度计算简单。
• 缺点：对数据不平衡较为敏感。

在二分类问题中，交叉熵损失衡量真实标签 ( y ) 和预测概率 ( \\hat{y} ) 之间的差异。公式为：

符号说明：

• ：真实标签（0 表示负类，1 表示正类）。
• ：预测为正类的概率。

对于 k 个类别的多分类问题，交叉熵损失扩展为多个输出类的加权损失，公式为：

符号说明

• ：类别数量。
• ：第 i 类的真实标签，使用独热编码表示（只有一个值为 1，其余为 0）。
• ：模型预测的第 i 类的概率，通常通过 softmax 函数获得。

Sigmoid 函数：

公式：，其中，是模型的线性输出，即预测值。Sigmoid 函数将模型的线性输出z转化为一个介于 0 和 1 之间的值，表示属于类别 1 的概率。

交叉熵损失：在二分类任务中，真实标签y通常取 0(负类)或1(正类)。

交叉熵损失的公式为：，其中，是经过 Sigmoid 函数后模型预测属于类别 1 的概率。

Softmax 函数：

公式： ，其中，是第个类别的得分， 是所有类别的得分的指数和。

Softmax 函数将每个类别的得分 转化为一个概率 ，即样本属于第个类别的概率。

交叉熵损失：

在多分类任务中，真实标签 y 是一个 one-hot 编码向量，即样本的真实类别的概率是 1，其他类别的概率是 0。

交叉熵损失的公式： 其中， 是 Softmax 函数输出的属于类别 的概率， 是真实的类别标签，通常为 0 或 1。

定义：

其中：

• 是模型对正确类别的预测概率。
• 是类别平衡权重，用来调整类别不平衡问题，，通常用于为不同类别分配不同的权重。
• 是调节因子，控制模型对难分类样本的关注程度，常取值为 0 到 5 之间，通常选取 效果较好。

注：t 是该样本的真实类别标签

• 描述：Focal 损失是对交叉熵损失的改进，用于解决类别不平衡问题。通过调节参数 ( ) 和 ()，它增加了对困难样本的关注，降低了对易分类样本的影响。
• 应用场景：目标检测中的单阶段检测器（如 RetinaNet），以及其他类别不平衡的分类问题。
• 优点：有效解决类别不平衡问题，增强模型对困难样本的关注。
• 缺点：参数选择复杂，训练时间较长。

定义：

对于二分类问题：

其中，，是模型的预测输出。

• 描述：Hinge 损失用于支持向量机（SVM）中。它在样本被正确分类且间隔大于 1 时，损失为 0；否则损失为 1。旨在最大化样本的分类间隔。
• 应用场景：线性支持向量机、核支持向量机等。
• 优点：有助于最大化分类间隔，提高模型的泛化能力。
• 缺点：对于误差大的样本损失增长过快。

定义：

• 描述：KL 散度衡量两个概率分布之间的差异，常用于无监督学习中的聚类分析。
• 应用场景：概率模型的优化，如变分自编码器（VAE）、生成对抗网络（GAN）中的判别模型。
• 优点：对概率分布之间的微小差异非常敏感。
• 缺点：对稀疏分布的概率模型不稳定。

代价函数：明日更新

本文作者及来源:Renderbus瑞云渲染农场https://www.renderbus.com