deeplearning.ai深度学习笔记(Course2 Week2):Optimization algorithms

deeplearning-ai-notes deep-learning ai

1- Optimization algorithms

应用Machine learning是一项非常经验性(empirical)的过程,需要训练很多模型,然后找出效果最好的。因此,训练的速度够快是至关重要的。

本周课程介绍几种加快Gradient descent的算法: * mini-batch * momentum * RMSprop * Adam * Learning rate decay

另外,在最后说明了梯度下降的主要问题不是local optima问题,而是plateaus问题。

deeplearning.ai深度学习笔记(Course2 Week1):Practical aspects of deep learning

deeplearning-ai-notes deep-learning ai

==提示:为方便阅读,《deeplearning.ai深度学习笔记》系列博文已统一整理到 http://dl-notes.imshuai.com==

这是Course 2的内容,涉及:

  1. 训练集、开发集、测试集的概念
  2. Bias/Variance问题
  3. 如何通过泛化(regularization)算法,解决High variance问题,以及常用的集中regularization算法。
  4. 最小化J中的一些加快手段
    • 标准化输入(Normalizing )
    • 梯度消失和梯度爆炸问题(Vanishing/Exploding Gradient)以及缓解方法
    • 验证梯度计算是否正确。

上一页 下一页