005.损失函数

均方损失（L2 Loss）

$$l(y,y^{\prime })=\frac{1}{2}(y-y^{\prime }{)}^2$$

• 蓝色线：$y=0$ 时，$y^{\prime }$ 的函数。二次函数
• 绿色线：似然函数 $e^{-l}$。高斯分布
• 橙色线：损失函数的梯度。一次函数

当预测值 $y^{\prime }$ 和真实值 $y$ 比较远的时候，梯度比较大，对参数更新是比较多的。随着预测值靠近真实值（靠近原点），梯度的绝对值变得越来越小，对参数更新的幅度越来越小

绝对值损失（L1 Loss）

$$l(y,y^{\prime })=|y-y^{\prime }|$$

当预测值和真实值比较远的时候，梯度也不会太大，依然是常数，带来稳定性上的好处

不好的地方是 0 点处不可导，在 0 点处 -1~+1 的不平滑，导致预测值和真实值比较近时不稳定

Huber’s Robust Loss

结合以上两种损失函数

$$l(y,y^{\prime })=\{\begin{array}{ll}|y-y^{\prime }|-\frac{1}{2},& if|y-y^{\prime }|>1\\ \frac{1}{2}(y-y^{\prime }{)}^2,& otherwise\end{array}$$