损失函数在神经网络中的作用是什么？损失函数的作用是量化预测值和真实值之间的差异，使得网络模型可以朝着真实值的方向预测。此外，目标函数是最终需要优化的函数，其中包

损失函数在神经网络中的作用是什么？损失函数的作用是量化预测值和真实值之间的差异，使得网络模型可以朝着真实值的方向预测。此外，目标函数是最终需要优化的函数，其中包括经验损失和结构损失，obj=loss经验损失(loss)就是所谓的损失函数或者代价函数，结构损失()就是正则项之类的来控制网络模型复杂程度的函数。

交叉熵代价函数（Crossentropycostfunction）是用来衡量人工神经网络（ANN）的预测值与实际值的一种方式。与二次代价函数相比，它能更有效地促进ANN的训练。在介绍交叉熵代价函数之前，本文先简要介绍二次代价函数，以及其存在的不足。1.二次代价函数的不足ANN的设计目的之一是为了使机器可以像人一样学习知识。

比如投篮：当运动员发现自己的投篮方向离正确方向越远，那么他调整的投篮角度就应该越大，篮球就更容易投进篮筐。同理，我们希望：ANN在训练时，如果预测值与实际值的误差越大，那么在反向传播训练的过程中，各种参数调整的幅度就要更大，从而使训练更快收敛。然而，如果使用二次代价函数训练ANN，看到的实际效果是，如果误差越大，参数调整的幅度可能更小，训练更缓慢。

有些人可能觉得逻辑回归的损失函数就是平方损失，其实并不是。平方损失函数可以通过线性回归在假设样本是高斯分布的条件下推导得到，而逻辑回归得到的并不是平方损失。在逻辑回归的推导中，它假设样本服从伯努利分布（01分布），然后求得满足该分布的似然函数，接着取对数求极值等等。而逻辑回归并没有求似然函数的极值，而是把极大化当做是一种思想，进而推导出它的经验风险函数为：最小化负的似然函数（即maxF(y,

f(x)))。从损失函数的视角来看，它就成了log损失函数了。log损失函数的标准形式：取对数是为了方便计算极大似然估计，因为在MLE（最大似然估计，MLE，MaximumLikelihoodEstimation)中，直接求导比较困难，所以通常都是先取对数再求导找极值点。

交叉熵代价函数（Crossentropycostfunction）是用来衡量人工神经网络（ANN）的预测值与实际值的一种方式。与二次代价函数相比，它能更有效地促进ANN的训练，在介绍交叉熵代价函数之前，本文先简要介绍二次代价函数，以及其存在的不足。ANN的设计目的之一是为了使机器可以像人一样学习知识，人在学习分析新事物时，当发现自己犯的错误越大时，改正的力度就越大。