001.神经网络

本课程会学习到

• 神经网络（也叫深度学习算法）
  • 推理：使用训练好参数的神经网络进行预测就被称为推理
  • 训练
• 构建深度学习系统的实用建议
• 决策树

神经网络

发明神经网络最初的动机是编写能够模仿人类大脑或者生物大脑的学习和思考方式的软件

但是如今神经网络已经发展到与大脑实际运作和学习方式的认知大相径庭

一个例子

预测某款 T 恤能否畅销

输入 $x$ 为价格，能否畅销为输出，在机器学习中记为 $f(x)$，在神经网络中记为 $a$，代表“激活”(activation)

• 激活：指的是一个神经元向其下游其他神经元发送高输出的程度（类比人脑的电脉冲强度）
• 神经元：看作一台微型计算机，其唯一工作是输入一个或多个数字，输出一个或多个数字
• 神经网络：选取一堆这样的神经元，并将它们连接或组合在一起

• 输入层 (input layer) 有四个特征：价格、运输成本、宣传力度、T 恤材质。是 4 个数字的列表
• 隐藏层 (hidden layer) 有三个神经元分别估算价格可承受度、认知度、质量感知这三个激活值
• 输出层 (output layer) 只有一个神经元，接收上一层的三个激活值，输出另一个激活值：这款 T 恤畅销的概率

手动确定哪些神经元应将哪些特征作为输入是不现实的，实际上是每个神经元都能够获取前一层的每个值，在训练过程中，神经元会自行忽略某些特征

简化上图为：$\vec{x}\to \vec{a}\to a$，其中 $\vec{x}$ 为输入向量、$\vec{a}$ 为隐藏层的激活向量、$a$ 为输出层的激活值（神经网络的最终预测）

遮住输入层，只看隐藏层和输出层，发现它是一个逻辑回归算法，以一件 T 恤的价格可承受度、认知度、质量感知作为输入，并使用这三个特征来估计该 T 恤成为畅销品的概率

这其中有意思的是，不是用原来诸如价格、运费、营销、材质特征，而是采用一组新的或许更好的特征，有望更具预测性

如之前所举的房屋价格例子，我们手动用房屋正面宽度和房屋深度相乘构建一个更复杂的特征（房屋面积），这需要手动查看特征 $x_1$ 和特征 $x_2$，并手动决定如何将它们组合得到更好的特征。而神经网络能自行学习，无需手动设计特征

其他例子

具有多个隐藏层的神经网络

当你构建自己的神经网络时，你要做的决策之一是想要多少个隐藏层，每个隐藏层想要多少个神经元？

这种多层神经网络也被称为多层感知器（multilayer perceptron）

神经网络中的网络层

• $[l]$：第 $l$ 层；输入层为第 0 层
• 第 $l$ 层第 $j$ 个神经元的激活值：$a_j^{[l]}=g({\vec{w}}_j\cdot {\vec{a}}^{[l-1]}+b_j^{[l]})$，其中 $g$ 为激活函数