003.成本函数

单变量线性回归算法的目的是要找出合适的 $w$、$b$，使得在所有训练集 $(x^{(i)},y^{(i)})$ 上预测值 ${\hat{y}}^{(i)}$ 尽可能接近目标值 $y^{(i)}$

如何衡量一条线对训练数据的拟合程度？

成本函数（cost function）用于测量模型函数的准确度，即模型预测的好坏：

$$J(w,b)=\frac{1}{2m}\sum _{i=1}^m({\hat{y}}^{(i)}-y^{(i)}{)}^2=\frac{1}{2m}\sum _{i=1}^m(f(x^{(i)})-y^{(i)}{)}^2$$

“平方误差函数（Squared error function）”或“均方误差（Mean squared error）”：

• $({\hat{y}}^{(i)}-y^{(i)}{)}^2$：预测值与目标值的方差
• $\frac{1}{m}{\sum }_{i=1}^m$：训练集所有数据的平均值
• 额外的除以 2 只是为了让后面的计算梯度下降更整洁，无论是否包含这个除以 2，成本函数仍然有效

目标：$\underset{w,b}{\mathrm{minimize}}J(w,b)$ —— 找出合适的 $w$、$b$，使得 $J(w,b)$ 最小

二维成本函数

为了简化，设 $b=0$

• 模型：$f_w(x)=wx$
• 参数：$w$
• 成本函数：$J(w)=\frac{1}{2m}{\sum }_{i=1}^m(f_w(x^{(i)})-y^{(i)}{)}^2=\frac{1}{2m}{\sum }_{i=1}^m(w{x}^{(i)}-y^{(i)}{)}^2$
• 目标：$\underset{w}{\mathrm{minimize}}J(w)$

三维成本函数

考虑 $b$

• 模型：$f_{w,b}(x)=wx+b$
• 参数：$w,b$
• 成本函数：$J(w,b)=\frac{1}{2m}{\sum }_{i=1}^m(f(x^{(i)})-y^{(i)}{)}^2=\frac{1}{2m}{\sum }_{i=1}^m(w{x}^{(i)}+b-y^{(i)}{)}^2$
• 目标：$\underset{w,b}{\mathrm{minimize}}J(w,b)$