deeplearning.ai深度学习笔记

本周介绍几种加快Gradient descent的算法 mini-batch、momentum、RMSprop、Adam、Learning rate decay。并说明了梯度下降的主要问题不是local optima问题，而是plateaus问题。

深度学习中一些实践性问题：训练集/开发集/测试集；过拟合问题以及如何泛化；通过标准化等方法加快优化算法。

Course1 Week3课程，从逻辑回归引入最简单的2层的浅神经网络，并介绍神经网络的表现形式，如何做前向传播和反向传播来完成梯度下降算法，同时包含sigmoid、tanh以及ReLU激励函数、参数初始化等的介绍。附有 Ian Goodfellow 的采访。