本周介绍了CNN的两个特殊应用：人脸识别、图片风格转移。前者，着重于使用Siamese Network通过triplet loss或binary Classification解决了人脸识别的One Shot Learning问题。后者，通过构建Content Cost和Style Cost实现风格转移。另外还将卷积推广到了1D和3D数据。

1- Face Recognition

1.1- What is face recognition?

与人脸识别（Face Recognition）相关的还有活体检测（Liveness Detection）问题，在这里仅讨论前者。

Face verification（人脸验证） vs. face recognition（人脸识别）

  • 人脸验证：一对一的问题，给定一张人脸图片和一个身份信息，验证图片和身份是否匹配
  • 人脸识别：要比人脸验证困难，一对多问题。对一个K个人的数据库，给定一张图片，判断这张图片是K个人种的哪一个（或不是K中的任何一个）

1.2- One Shot Learning

人脸识别的一个挑战是One Shot Learning，即人脸识别程序需要仅根据某人的一张图片去识别这个人。

人脸识别的可能的方法：假如有4个人要识别，则构建一个ConvNet，最后一层softmax输出4个维度，分别代表4个人。但由于每个人只有一张人脸图片，训练效果很差。并且如果增加了新人，还要修改softmax的输出是5个维度，重新训练网络，显然这是不现实的。

换个角度，让算法不是训练识别一个具体的人，而是训练一个相似性函数（similarity function）：d(img1, img2)，代表两张图片的差异度。并设置一个阈值\(\tau\)，如果\(d(img1, img2) \le \tau \)，则认定为两张图片是同一个人，否则是不同的人。这就解决了one shot learning 问题。

1.3- Siamese Network

实现相似性函数d的一个方法是Siamese Network。

将人脸图片\(x^{(1)}\)经过ConvNet的输出，最后不经过softmax，而是使用全连接层，得到的向量\(f(x^{(1)})\)，将其看做输入图片\(x^{(1)}\)的编码（encoding）：

Xnip2018-07-16_21-54-22

在计算两张人脸图片的\(x^{(1)}\)和\(x^{(2)}\)似性函数时，先使用相同的ConvNet分别得到其编码\(f(x^{(1)})\)和\(f(x^{(2)})\)，将差异度的计算转化为对编码\(f\)的计算（两个向量之差的L2范数）：

\[d(x^{(1)}, x^{(2)}) = ||f(x^{(1)}) - f(x^{(2)})||^2_2\]

这种方法叫做：Siamese Network

Xnip2018-07-16_21-48-22

paper参考：Taigman et al., 2014, DeepFace closing the gap to human level performance

训练上述Siamese Network的目标是：

  • NN网络的参数决定了编码\(f(x^{(i)})\)
  • 学习这样的参数，使得如果\(x^{(i)}\)和\(x^{(j)}\)表示同一个人，则\(   f(x^{(i)}) - f(x^{(j)})   ^2_2\)的值非常小。如果表示不同的人，则\(   f(x^{(i)}) - f(x^{(j)})   ^2_2\)非常大。

1.4- Triplet Loss

为了达到上面训练Siamese Network的目标，我们需要定义Loss Function，有一种方法就是Triplet Loss。

为此，对每一个人脸需要准备三种训练数据：

  • Anchor
  • Positive
  • Negative

其中Anchor和Positive是同一个人的人脸图片，而Negative和Anchor是不同人的人脸图片。

训练的目标是让\(d(A,P) \le d(A,N)\) （A代表Anchor，P代表Positive，N代表Negative），即：

\[(||f(x^{(A)}) - f(x^{(P)})||^2_2 \le ||f(x^{(A)}) - f(x^{(N)})||^2_2\]

或写成:

\[||f(x^{(A)}) - f(x^{(P)})||^2_2 - ||f(x^{(A)}) - f(x^{(N)})||^2_2 \le 0\]

很容看到，对上面的目标函数有一个平凡解：即\(f(x)=0\)，显然这是不符合要求的，所以，上式会增加一个很小的正数\(\alpha\)（称为margin），规避这种情况，即：

\[||f(x^{(A)}) - f(x^{(P)})||^2_2 - ||f(x^{(A)}) - f(x^{(N)})||^2_2 + \alpha \le 0\]

最后，我们整理如下的Loss Function：

\[L(A,P,N) = max(||f(x^{(A)}) - f(x^{(P)})||^2_2 - ||f(x^{(A)}) - f(x^{(N)})||^2_2 + \alpha, 0)\]

由于每组训练数据都需要上述三种图片（A,P,N）组成，所以上面的Loss Function称之为Triplet Loss。

上式中，使用了max和0比较，即只要达到区分度即可，并不过分追求AP和AN的差异。

对大小为\(m\)的Training Data，Cost Function则为：

\[J = \sum^m_{i=1}L(A^{(i)}, P^{(i)}, N^{(i)})\]

可以使用Gradient Descent对上述\(J\)优化。

在训练阶段，需要一个人的多张照片，而在预测阶段，只需要一张照片即可。本质上one-shot learning并不是learning的过程，而是预测的过程。算法学习的并不是对若干人脸的直接分类，而是通过Triplet Loss学习对不同人的脸能有效区分，相同人的脸有效接近的编码\(f\)。这个编码\(f\)就是某个ConvNet。

在训练数据选择Triplet的需要注意，如果随机的选择A/P/N图片组，由于A和N本身很可能差异很大的，很容易满足\(d(A,P) + \alpha \le d(A,N)\)，导致训练结果不够鲁棒；实践中，会选择训练起来比较困难的A/P/N图片组。

paper参考：Schroff et al., 2015, FaceNet: A unified embedding for face recognition and clustering

另外，当前商业化的人脸识别，基于的数据量在百万级以上，甚至到达千万、亿的级别。这些数据获取并不容易，训练量也很大。幸运的是，有一些已在大数据级上训练的参数开源了，可以在此基础上实现。

1.5- Face Verification and Binary Classification

除了triplet loss，还有一种比较有效的方法训练Siamese Network的参数：Binary Classification。

与Triplet Loss不同，每个训练样本是两张人脸图片，输入到一个Siamese Network（上下两个网络的参数一样），分别得到两张图片的编码\(f(x^{(i)})\)和\(f(x^{(j)})\)，最后将两个编码通过sigmoid做一个Binary Classification，同一个人输出1，否则输出0。

Xnip2018-07-17_08-42-51

其中最后的sigmoid形式可以是：

\[\hat y = \sigma (\sum^K_{k=1}w_k|f(x^{(i)})\_k - f(x^{(j)})\_k)| + b)\]

即将两个编码的元素级之差的绝对值作为激活函数的输入。激活函数的输入也可以使用\(\chi\)相似度，即：

\[\hat y = \sigma (\sum^K_{k=1}w_k \frac{(f(x^{(i)})_k - f(x^{(j)})_k)^2}{f(x^{(i)})_k + f(x^{(j)})_k} + b)\]

预测阶段的优化：无论是Triplet Loss还是Binary Classification，预测阶段都会用一张待验证人脸与系统存储的人脸进行比对，由于系统存储的人脸是固定的，每次输入到Siamese Network计算其编码结果不变，因此可以直接将其编码缓存起来，降低计算量。甚至系统内也不用存储原始图片，只存储图片对应的编码向量即可。

paper参考：Taigman et. al., 2014. DeepFace closing the gap to human level performance

2- Neural Style Transfer

2.1- What is neural style transfer?

Neural Stlye Transfer，直观上就是将一种图片的风格应用到另一张内容图片上，比如：

Xnip2018-07-17_08-59-57

整个过程涉及三张图片，Style图片提供风格，Content图片提供内容，Generated Image是生成的图片。接下来将用S、C、G分别代表三种图片。

2.2- What are deep ConvNets learning?

为了实现Style Transfer，首先需要了解神经网络的每一层都在做什么。本节通过可视化的方法，研究ConvNet的每一层都在做什么。

假如有如下的ConvNet：

Xnip2018-07-17_10-42-58

可视化思路是，对某一层layer中选择一个unit，遍历所有训练样本，选择使该unit的激活函数最大的9块图像区域，使用这9个图像块作为这个unit的可视化；以此类推可视化所有unit。使得激活函数最大，说明这个unit对某个特征敏感，是其捕捉的特征。

下图是每一层选择了9个unit做可视化示例（每个unit用9个激活函数最大的图像块代表，每个layer选择了9个unit）：

Xnip2018-07-17_10-59-55

可以看到：

  • 浅层网络识别了图像的边缘、纹理、颜色的过渡等较简单的低层次特征；
  • 深层的unit，其识别的区域较大，特性更具体，比如狗的脸、汽车的轮子等。
  • 观察每个unit的9个色块，很容易发现具有相似的共性特性，即该unit识别的特征。

paper参考：Zeiler and Fergus., 2013, Visualizing and understanding convolutional networks

2.3- Cost Function

为了构建Neural Style Transfer系统，我们需要为生成图片定义Cost Function（这也是机器学习的套路了）。通过最小化Cost Function，可以生成目标图片G。

显然目标图片需要兼具内容图片的内容和风格图片的风格特征，因此Cost Function由两部分组成：内容图片C与G的Content Cost Function，以及风格图片S与G的Content Cost Function，即：

\[J(G) = \alpha \cdot J_{content}(C, G) + \beta \cdot J_{style}(S, G)\]

其中\( \alpha\)和\( \alpha\)是控制两部分权重的超参。特别注意：G就是要训练的参数。

算法过程：

  • 随机生成G的每个像素点。（即参数初始化）
  • 使用Gradient Descent最小化Cost Function \(J(G)\)，在这个过程中G会慢慢的生成，就像这样：

Xnip2018-07-17_12-21-21

需要注意的是，普通cost function优化的结果是网络上的参数，而Neural Style Transfer在cost function上优化的结果是：G的每一个像素，而此cost function也并没有对应什么神经网络。

下面具体介绍如何表示\( J_{content}(C, G)\)和\(J_{style}(S, G)\)

2.4- Content Cost Function

计算Content Cost Function，即\( J_{content}(C, G)\)的方法：

  • 使用一个训练好的ConvNet，如VGG网络。（这个ConvNet的训练不属于Style Transfer的范围）
  • 使用ConvNet的某一个隐藏层\(l\)计算Content Cost。隐藏层\(l\)的选择，通常是网络中处于中间的隐藏层。如果太浅，则隐藏层和原始图片看起来差不多，如果太深，则太过于具体。
  • 图片C和G的Cost Function可表示为： \(J_{content}(C, G) = \frac{1}{2}||(a^{(C)[l]} - a^{(G)[l]})||^2\) 其中，\(a^{(C)[l]}\)和\(a^{(G)[l]}\)分别为C和G在\(l\)层的激活函数。

隐藏层激活函数\(a^{(C)[l]}\)和\(a^{(G)[l]}\)越接近，\(J_{content}(C, G)\)越小，则暗示C和G图片的内容越接近。（疑问：为什么激活函数的相近代表了图片内容的接近？）

2.5- Style Cost Function

一个张图片的style是什么含义？ 如果用\(l\)层的激活函数来度量style，我们定义style为不同channel之间激活函数的相关性（Correlation）。

为什么不同channel之间的相关性可以代表style呢？根据前面章节所述，每个channel会学习一种特征，比如颜色、纹理等。这些特征的相关性，表示这些特征是否会倾向于同时出现。

下图表示每个channel学习到不同的特征，比如红色的channel学习到了垂直的纹理，黄色的channel学习到了橘黄色：

Xnip2018-07-18_09-36-59

直观的感觉一下梵高的星夜，它的style是什么？是蓝色和黄色和黑色混杂，有搅动感的漩涡。如果神经网络的多个channel识别了这个特征，那么这些channel的激活函数相关性一定很大。

channel的相关性，表名了某些特征多大机会同时出现或不同时出现。style就是某些特征的混杂。

下面是正式的数学表示：

  1. 首先定义两个符号：
    • 用\(a^{[l]}_{i,j,k}\) 表示第\(l\)层在volume中处于\((i,j,k)\)位置的激活函数。其中\(i\)是width（即在\(n^{[l]}_W\)的维度上），\(j\)是Height（即在即在\(n^{[l]}_H\)的维度上），而\(k\)是channel（即在\(n^{[l]}_C\)的维度上）。
    • 用\(G^{[l]}\)表示style matrix，实际上就是\(l\)层所有channel组成的相关矩阵，所以其维度是\(n^{[l]}_C \times n^{[l]}_C\)。而\(G^{[l]}_{kk’}\)即第\((k,k’)\)个元素，代表第\(k\)个channel和第\(k’\)个channel的相关性。style matrix之所以用大写字母G表示style matrix，是因为在数学上，它称之为gram matrix。

  2. Style matrix \(G^{[l]}_{kk’}\)的计算如下：

    \[G^{[l]}\_{kk'} = \sum^{n^{[l]}\_H}\_{i=1} \sum^{n^{[l]}\_W}\_{j=1} a^{[l]}\_{ijk} a^{[l]}\_{ijk'}\]

    直观的来说，就是第\(k\)个channel和第\(k’\)个channel这两个矩阵的元素级乘积的和。可以理解成向量的内积，而内积反应的就是相关性。

    对于style matrix，我们需要分别在图片S和图片G上计算，因此再增加一个上标，分别表示S和G的style matrix的计算：

    \[G^{[l]\(S)}\_{kk'} = \sum^{n^{[l]}\_H}\_{i=1} \sum^{n^{[l]}\_W}\_{j=1} a^{[l]\(S)}\_{ijk} a^{[l]\(S)}\_{ijk'}\] \[G^{[l]\(G)}\_{kk'} = \sum^{n^{[l]}\_H}\_{i=1} \sum^{n^{[l]}\_W}\_{j=1} a^{[l]\(G)}\_{ijk} a^{[l]\(G)}\_{ijk'}\]
  3. 有了S和G的style matrix，就可以定义style的cost function了，即两个style的差异：
\[J^{[l]}\_{style}(S, G) = \frac{1}{(2n^{[l]}\_Hn^{[l]}\_Wn^{[l]}\_C)^2} || G^{[l]\(S)} - G^{[l]\(G)}||^2_F\]

即两个style matrix元素级相减后，再将元素做平方和（下标F表示Frobenius norm，在之前的课程有提到：L2 Regularization）展开后即：

\[J^{[l]}\_{style}(S, G) = \frac{1}{(2n^{[l]}\_Hn^{[l]}\_Wn^{[l]}\_C)^2} \sum_k^{n^{[l]}\_C} \sum_{k'}^{n^{[l]}\_C}(G^{[l]\(S)}\_{kk'} - G^{[l]\(G)}\_{kk'})^2\]
  1. \(J^{[l]}_{style}(S, G)\)只是第\(l\)层的cost function，所有层的cost function之和组成了全部的cost function：
\[J_{style}(S, G) = \sum_l^L \lambda^{[l]} J^{[l]}\_{style}(S, G)\]

其中\(\lambda^{[l]}\)是对每层cost function的权重，也是一个超参。

通过捕捉不同类型的特征以及这些特征同时出现的程度，Style matrix 定义了一张图片的style。另外，与计算Content Cost只用某一个隐藏层不同，计算Style Cost使用了所有隐藏层。

2.6- 1D and 3D Generalizations

之前，都是针对图片使用卷积神经网络，数据都2D的，因此都是2D卷积。统一，卷积也可以推广到1D和3D数据。

  1. 1D卷积

比如心电图（EKG, Electrocardiography）就是1D数据，使用1D的filter做卷积运算。与2D类似，1D的filter在心电图数据上从左到右滑动。14维的数据应用5维的filter（stride是1），将输出10维的数据。输入数据也可以是多个channel，此时filter保持数量一致的channel；应用多个filter，则输出就是多个channel。

Xnip2018-07-19_20-22-28

1D卷积网络，可以应用于1D数据，但事实上更常用的是递归神经网网络（RNN, Recurrent Neural Network）。

  1. 3D卷积

比如CT数据就是3D数据，对人体进行若干层的切片扫描，每层是一张2D的图片，所有图片组成3D数据。

此时的输入数据和fitler都是3D的（注意，这里的3D和之前因多个channel画成的3D不一样）

Xnip2018-07-19_20-29-35

比如一个14x14x14的输入数据，使用5x5x5的filter（stride是1），输出数据是10x10x10的数据。同样输入数据也可以是多个channel，使用多个filter。

-------------------------

本文采用 知识共享署名 4.0 国际许可协议（CC-BY 4.0）进行许可。转载请注明来源：https://imshuai.com/deeplearning-ai-notes-course4-week4 欢迎指正或在下方评论。