005.Rprop

提出

Rprop（Resilient Backpropagation）算法是由 Martin Riedmiller 和 Hermann Braun 在 1993 年提出的。这一算法在论文《A Direct Adaptive Method for Faster Backpropagation Learning: The RPROP Algorithm》中被详细描述，该论文发表在 1993 年的 IEEE 国际会议上

Rprop 算法通过仅使用梯度的符号来计算更新，而不是梯度的大小，从而动态地为每个权重独立地调整步长。这种方法克服了传统梯度下降算法的一些固有缺点，并且由于其对误差函数行为的局部适应性，使得学习过程更加高效和透明

Rprop 算法的原理

1. 初始化：为每个权重 $w_i$ 初始化学习率 ${\eta }_i$ 和变化量 ${\Delta }_i$，通常 ${\Delta }_i$ 的初始值设为一个小的正数
2. 更新规则：
   • 如果 $g_t$（当前梯度）和 $g_{t-1}$（上一时刻的梯度）同号，则增加学习率：${\Delta }_i=\min ({\Delta }_{\text{max}},{\eta }_i+{\Delta }_i)$
   • 如果 $g_t$ 和 $g_{t-1}$ 异号或 $g_t$ 为零，则减少学习率：${\Delta }_i=\max ({\Delta }_{\text{min}},{\eta }_i-{\Delta }_i)$
   • 如果 $g_t$ 和 $g_{t-1}$ 都为零，则重置学习率：${\Delta }_i={\Delta }_{\text{init}}$
3. 权重更新：
   • $w_i=w_i-{\Delta }_i\cdot \text{sign}(g_t)$
   • 其中 $g_t$ 是当前梯度，$\text{sign}(g_t)$ 是梯度的符号函数

参数：

• ${\Delta }_{\text{max}}$：最大变化量，防止步长过大
• ${\Delta }_{\text{min}}$：最小变化量，防止步长过小
• ${\Delta }_{\text{init}}$：初始变化量

Rprop 算法通过这种方式，能够自适应地调整每个权重的学习率，从而在训练过程中更加灵活和有效。它特别适合于那些需要精细调整学习率以避免陷入局部最小值的问题

Rprop 算法的主要特点：

1. 自适应学习率：Rprop 算法为每个权重单独设置学习率，而不是使用全局学习率。这意味着每个权重的学习率可以根据其历史梯度信息进行调整
2. 快速收敛：由于学习率的自适应调整，Rprop 通常能够更快地收敛
3. 鲁棒性：Rprop 算法对初始学习率的选择不敏感，这使得它在不同的问题上具有较好的鲁棒性