010.正则化

应用正则化

用上文的四阶函数举例，要让 $w_3,w_4$ 接近 0，则让其代价函数加一个大系数的 $w_3,w_4$

$\underset{\vec{w},b}{\mathrm{minimize}}J(\vec{w},b)+1000w_3^2+1000w_4^2$

会惩罚模型，让其减少 $w_3,w_4$ 接近 0，负责模型无法做到 $\underset{\vec{w},b}{\mathrm{minimize}}$

这就是正则化背后的原理：如果参数值较小，就有点像拥有一个更简单的模型（特征较少的模型）

但事实上，我们不知道哪些是最重要的特征，也不知道该惩罚哪些特征。所以正则化通常的做法是惩罚所有特征（更确切地讲是惩罚所有 $\vec{w}$ 参数），而且可以证明这通常会使得拟合出的函数更平滑、更简单、波动更小、也更不易过拟合

$$J(\vec{w},b)=\frac{1}{2m}\sum _{i=1}^m(f_{\vec{w},b}(x^{(i)})-y^{(i)}{)}^2+\frac{\lambda }{2m}\sum _{i=1}^m{w}_j^2[+\frac{\lambda }{2m}{b}^2]\text{可选的对b进行正则化，一般不需要}$$

• $\lambda$：正则化参数，$\lambda >0$
  • 类似与学习率 $\alpha$，也需要为 $\lambda$ 选一个值

新的代价函数兼顾了两个目标：

1. 均方误差项：促使算法更好地拟合训练数据
2. 正则化项：促使算法尝试让参数 $\vec{w}$ 较小

所选的 $\lambda$ 值决定了这两个目标之间的权衡程度

• $\lambda$ 取 0 或接近 0，则正则化项为 0 或接近 0，即：忽略正则化，过拟合
• $\lambda$ 取极大数，则正则化项极大，会迫使模型选择 $\vec{w}$ 参数极其接近 0，即：$f\approx b$，欠拟合
• 常见的 $\lambda$ 取 1 或 10

正则化线性回归

在每次送代中，正则化的作用是将 $w$ 乘以一个略小于 1 的数，这会使 $w_j$ 的值稍微缩小一点

导数项求解过程（选修）：

正则化逻辑回归