本周讲述了CNN的基础。从边界检测引入卷积运算，并将2D卷积运算延伸到3D中的multi-filter，最后以LeNet-5架构为例整体介绍了CNN。

本周继续介绍了机器学习的策略。包括如何做错误分析，如何处理training与dev/test分布不一致的情况，以及最新发展的迁移学习、多任务学习以及end-to-end学习。

本周介绍了机器学习的策略。强调了方法的正交性，介绍了单值指标并根据情况调整它，以及通过比较人类水平改进bias或variance。

本周介绍了深度学习超参的调优方法，Batch Norm算法、Softmax实现多元分类。并以tensorflow介绍了deep learing框架。

1- Optimization algorithms

应用Machine learning是一项非常经验性（empirical）的过程，需要训练很多模型，然后找出效果最好的。因此，训练的速度够快是至关重要的。

本周课程介绍几种加快Gradient descent的算法： * mini-batch * momentum * RMSprop * Adam * Learning rate decay

另外，在最后说明了梯度下降的主要问题不是local optima问题，而是plateaus问题。

==提示：为方便阅读，《deeplearning.ai深度学习笔记》系列博文已统一整理到 http://dl-notes.imshuai.com==

这是Course 2的内容，涉及：

1. 训练集、开发集、测试集的概念
2. Bias/Variance问题
3. 如何通过泛化（regularization）算法，解决High variance问题，以及常用的集中regularization算法。
4. 最小化J中的一些加快手段
   • 标准化输入（Normalizing ）
   • 梯度消失和梯度爆炸问题（Vanishing/Exploding Gradient）以及缓解方法
   • 验证梯度计算是否正确。

==提示：为方便阅读，《deeplearning.ai深度学习笔记》系列博文已统一整理到 http://dl-notes.imshuai.com==

Shallow Neural Network

这一周的课程，主要是以Shallow Neural Network（即仅有一层hidden layer）为例介绍Neural Network。