1- Optimization algorithms

应用Machine learning是一项非常经验性（empirical）的过程，需要训练很多模型，然后找出效果最好的。因此，训练的速度够快是至关重要的。

本周课程介绍几种加快Gradient descent的算法： * mini-batch * momentum * RMSprop * Adam * Learning rate decay

另外，在最后说明了梯度下降的主要问题不是local optima问题，而是plateaus问题。

==提示：为方便阅读，《deeplearning.ai深度学习笔记》系列博文已统一整理到 http://dl-notes.imshuai.com==

这是Course 2的内容，涉及：

1. 训练集、开发集、测试集的概念
2. Bias/Variance问题
3. 如何通过泛化（regularization）算法，解决High variance问题，以及常用的集中regularization算法。
4. 最小化J中的一些加快手段
   • 标准化输入（Normalizing ）
   • 梯度消失和梯度爆炸问题（Vanishing/Exploding Gradient）以及缓解方法
   • 验证梯度计算是否正确。

==提示：为方便阅读，《deeplearning.ai深度学习笔记》系列博文已统一整理到 http://dl-notes.imshuai.com==

Shallow Neural Network

这一周的课程，主要是以Shallow Neural Network（即仅有一层hidden layer）为例介绍Neural Network。

Python环境安装package，一般采用pip命令在线从PyPI是安装，这也是最方便的途径。但在某些情况下，要为一台离线的机器（比如在内网运行的一台生产服务器）安装package，根本就连不上PyPI。当然，大厂一般都有内网PyPI代理，只要改一下--index-url参数即可；但若代理也没有，只能手工将所有依赖到的package离线下载下来，放到offline的机器上安装。

下面是说明了整个探索过程。最终总结的方法，直接看文末的“推荐方法”即可。

==提示：为方便阅读，《deeplearning.ai深度学习笔记》系列博文已统一整理到 http://dl-notes.imshuai.com==

这篇博文，收集一些机器学习/深度学习的资料，以及学习路径。

今天项目组反馈，BIRT做的报表到WIN10环境兼容性测试时有个奇怪的问题，查了一个星期还没解决。现象如下：