损失函数, 成本函数, 目标函数的区别

机器学习中经常会碰到“损失函数”,“成本函数”, 和“目标函数”。许多初学者会被这些概念搞晕。事实上，“损失函数”和“成本函数”在很多地方都会混用（甚至有人叫它们“错误函数”）。但是也有细微的差别。

差别1：

“损失函数”比“成本函数”更加宽泛。“损失函数”可以是一个点上的损失，也可以是整个数据集上的损失。而，“成本函数”一般是数据集上总的成本和损失。

差别2：

“成本函数”比“损失函数”更加复杂。“成本函数”可以比损失函数有更复杂的组合和计算，“成本函数”可以加上正则化项。如下：

另外，值得明确的是，“目标函数”是一个非常广泛的名称。一般我们都是先确定一个“目标函数”，再去优化它。选择“目标函数”是构造“成本函数”和“损失函数”的前提。“目标函数”可以是：

– 最大化后验概率MAP(比如朴素贝叶斯)
– 最大化适应函数(遗传算法)
– 最大化回报/值函数（增强学习）
– 最大化信息增益/减小子节点纯度(CART 决策树分类器)
– 最小化平方差错误成本（或损失）函数（CART，决策树回归，线性回归，线性适应神经元）
– 最大化log-相似度或者最小化信息熵损失（或者成本）函数
– 最小化hinge损失函数（支持向量机SVM）

参考文献: