deeplearning.ai深度学习笔记整理

本周是deeplearning.ai系列的最后一节课，以机器翻译为例，介绍了seq2seq模型，扩展分析了beam search、bleu score和attention model。最后简要介绍了语音识别和触发词检测。

本周从语言模型引入了词嵌入，并介绍了常用的词嵌入算法：Word2vec和GloVe；以及应用案例：情感分类和消除偏见。

介绍了RNN相关的模型，包括基本RNN、GRU、LSTM、BRNN以及深度RNN。顺便介绍了语言模型、采样生成新序列。相比以往，本周信息量极大，整理完后差点要吐-_-||。

本周介绍了CNN的两个特殊应用：人脸识别、图片风格转移。前者，着重于使用Siamese Network通过triplet loss或binary Classification解决了人脸识别的One Shot Learning问题。后者，通过构建Content Cost和Style Cost实现风格转移。另外还将卷积推广到了1D和3D数据。

本周介绍了目标检测算法，包括使用bounding box定位，sliding window算法以及YOLO算法。其中YOLO算法涉及IoU、Non-max Suppression、Anchor Boxes。

CNN模型案例研究：LeNet-5、AlexNet、VGG-16、ResNets、1x1 CONV、Inception Network。以及CNN的实践建议：迁移学习、数据增强。

本周讲述了CNN的基础。从边界检测引入卷积运算，并将2D卷积运算延伸到3D中的multi-filter，最后以LeNet-5架构为例整体介绍了CNN。

本周继续介绍了机器学习的策略。包括如何做错误分析，如何处理training与dev/test分布不一致的情况，以及最新发展的迁移学习、多任务学习以及end-to-end学习。

本周介绍了机器学习的策略。强调了方法的正交性，介绍了单值指标并根据情况调整它，以及通过比较人类水平改进bias或variance。

本周介绍了深度学习超参的调优方法，Batch Norm算法、Softmax实现多元分类。并以tensorflow介绍了deep learing框架。

本周介绍几种加快Gradient descent的算法 mini-batch、momentum、RMSprop、Adam、Learning rate decay。并说明了梯度下降的主要问题不是local optima问题，而是plateaus问题。

深度学习中一些实践性问题：训练集/开发集/测试集；过拟合问题以及如何泛化；通过标准化等方法加快优化算法。

Course1 Week3课程，从逻辑回归引入最简单的2层的浅神经网络，并介绍神经网络的表现形式，如何做前向传播和反向传播来完成梯度下降算法，同时包含sigmoid、tanh以及ReLU激励函数、参数初始化等的介绍。附有 Ian Goodfellow 的采访。