➢ deeplearning.ai深度学习笔记(Course2 Week2):Optimization algorithms
1- Optimization algorithms
应用Machine learning是一项非常经验性(empirical)的过程,需要训练很多模型,然后找出效果最好的。因此,训练的速度够快是至关重要的。
本周课程介绍几种加快Gradient descent的算法: * mini-batch * momentum * RMSprop * Adam * Learning rate decay
另外,在最后说明了梯度下降的主要问题不是local optima问题,而是plateaus问题。