004.softmax 回归

回归 VS. 分类

• 回归估计一个连续值
• 分类预测一个离散类别

从回归到多类分类

均方损失

对类别进行一位有效（one-hot，独热）编码

$$\mathbf{y}=[y_1,y_2,...,y_n{]}^T$$ $$y_i=\{\begin{array}{ll}1,& ifi=y\\ 0,& otherwise\end{array}$$

使用均方损失训练

最大值最为预测

$$\hat{y}=arg\underset{i}{\max }{o}_i$$

无校验比例

需要更置信的识别正确类（大余量）

$$o_y-o_i\ge \Delta (y,i)$$

校验比例

输出匹配概率（非负，和为 1）

$$\begin{array}{r}\hat{\mathbf{y}}=softmax(\mathbf{o})\\ {\hat{y}}_i=\frac{e^{o_i}}{{\sum }_k{e}^{o_k}}\end{array}$$

概率 $\mathbf{y}$ 和 $\hat{\mathbf{y}}$ 的区别作为损失

交叉熵损失

交叉熵常用来衡量两个概率的区别

$$H(\mathbf{p},\mathbf{q})=\sum _i-p_{i}ln(q_i)$$

将它作为损失

$$\begin{array}{rl}l(\mathbf{y},\hat{\mathbf{y}})& =-\sum _i{y}_{i}ln({\hat{y}}_i)\\ & =-ln{\hat{y}}_y\end{array}$$

其梯度是真实概率和预测概率的区别

$${\partial }_{o_i}l(\mathbf{y},\hat{\mathbf{y}})=softmax(\mathbf{o}{)}_i-y_i$$

总结

• Softmax 回归是一个多类分类模型
• 使用 Softmax 操作子得到每个类的预测置信度
• 使用交叉熵来衡量预测和标号的区别