deeplearning.ai深度学习笔记(Course2 Week2):Optimization algorithms

deeplearning-ai-notes deep-learning ai

1- Optimization algorithms

应用Machine learning是一项非常经验性(empirical)的过程,需要训练很多模型,然后找出效果最好的。因此,训练的速度够快是至关重要的。

本周课程介绍几种加快Gradient descent的算法: * mini-batch * momentum * RMSprop * Adam * Learning rate decay

另外,在最后说明了梯度下降的主要问题不是local optima问题,而是plateaus问题。

deeplearning.ai深度学习笔记(Course2 Week1):Practical aspects of deep learning

deeplearning-ai-notes deep-learning ai

==提示:为方便阅读,《deeplearning.ai深度学习笔记》系列博文已统一整理到 http://dl-notes.imshuai.com==

这是Course 2的内容,涉及:

  1. 训练集、开发集、测试集的概念
  2. Bias/Variance问题
  3. 如何通过泛化(regularization)算法,解决High variance问题,以及常用的集中regularization算法。
  4. 最小化J中的一些加快手段
    • 标准化输入(Normalizing )
    • 梯度消失和梯度爆炸问题(Vanishing/Exploding Gradient)以及缓解方法
    • 验证梯度计算是否正确。

Python pip离线安装package方法总结(以TensorFlow为例)

python summary

Python环境安装package,一般采用pip命令在线从PyPI是安装,这也是最方便的途径。但在某些情况下,要为一台离线的机器(比如在内网运行的一台生产服务器)安装package,根本就连不上PyPI。当然,大厂一般都有内网PyPI代理,只要改一下--index-url参数即可;但若代理也没有,只能手工将所有依赖到的package离线下载下来,放到offline的机器上安装

下面是说明了整个探索过程。最终总结的方法,直接看文末的“推荐方法”即可。

上一页 下一页