人工智能（AI）在过去几年中一直处于技术的最前沿，并已进入主流应用，例如专家系统，移动设备上的个性化应用， 自然语言处理中的机器翻译，聊天机器人，自动驾驶汽车等。 但是，AI 的定义在很长一段时间以来一直是一个争论的主题。 这主要是因为所谓的 AI 效应将过去已经通过 AI 解决的工作归类为非 AI。 根据一位著名的计算机科学家的说法：
智能是机器尚未完成的一切。
–拉里·特斯勒（Larry Tesler）
在 1996 年 IBM 电脑 Deep Blue 击败 Gary Kasparov 之前，一直认为构建能下象棋的智能系统是 AI。类似地，曾经将视觉，言语和自然语言方面的问题视为复杂问题，但是由于 AI 的影响，它们现在仅被视为计算而非真正的 AI。 近来，人工智能已经能够解决复杂的数学问题，创作音乐和创作抽象绘画，并且人工智能的这些功能正在不断增加。 科学家将 AI 系统在未来等同于人类智能水平的点称为 AI 奇点。 机器是否会真正达到人类的智能水平这个问题非常令人着迷。
许多人会认为机器永远无法达到人类的智能水平，因为用来学习或执行智能任务的 AI 逻辑是由人类编程的，并且它们缺乏人类所拥有的意识和自我意识。 但是，一些研究人员提出了另一种想法，即人类意识和自我意识就像无限循环程序，可以通过反馈从周围的环境中学习。 因此，也有可能将意识和自我意识编程到机器中。 但是，就目前而言，我们将把 AI 的这一哲学方面再留一天，并简单地讨论我们所知道的 AI。
简而言之，AI 可以定义为机器（通常是计算机或机器人）以类人的智力执行任务的能力，例如具有推理，学习经验，归纳，破译含义和拥有的能力等属性。 视觉感知。 我们将坚持这个更实际的定义，而不是关注 AI 效应所带来的哲学内涵以及 AI 奇异性的前景。 尽管可能存在关于 AI 可以实现和不能实现的争论，但基于 AI 的系统的最新成功故事却令人瞩目。 下图描述了 AI 的一些较新的主流应用：
图 1.1：人工智能的应用
本书将涵盖来自 AI 的所有核心学科的项目的详细实现，概述如下：
- 基于迁移学习的 AI 系统
- 基于自然语言的 AI 系统
- 基于生成对抗网络（GAN）的应用
- 专家系统
- 视频到文本翻译应用
- 基于 AI 的推荐系统
- 基于 AI 的移动应用
- 基于 AI 的聊天机器人
- 强化学习应用
在本章中，我们将简要介绍实现机器学习和深度学习的概念，这些概念是实现以下各章中涉及的项目所必需的。
神经网络是受人脑启发的机器学习模型。 它们由神经处理单元组成，它们以分层的方式相互连接。 这些神经处理单元称为人工神经元，它们在人脑中执行与轴突相同的功能。 在人脑中，树突接收来自邻近神经元的输入，并在将输入传输到神经元的体细胞之前减弱或放大输入。 在神经元的躯体中，这些修饰的信号被加在一起并传递到神经元的轴突。 如果轴突的输入超过指定的阈值，则信号将传递到相邻神经元的树突。
人工神经元松散地工作可能与生物神经元在相同的逻辑上起作用。 它接收来自邻近神经元的输入。 通过神经元的输入连接来缩放输入，然后将它们加在一起。 最后，求和的输入通过激活函数传递，该函数的输出传递到下一层的神经元。
下图说明了生物神经元和人工神经元，以进行比较：
图 1.2：生物神经元
下图说明了人工神经元：
图 1.3：人工神经元
现在，让我们看一下人工神经网络的结构，如下图所示：
图 1.4：人工神经网络
输入x ∈ R^N穿过神经单元的连续层，这些层以分层方式排列。 特定层中的每个神经元都接收来自先前层的神经元的输入，这些输入被它们之间的连接权重所衰减或放大。 权重w[ij]^(l)对应于l层第i个神经元与l + 1层第j个神经元。 同样，每个神经元单元i在特定层1中都有一个偏置b[i]^(l)。 神经网络为输入向量x ∈ R^N预测输出y_hat。 如果数据的实际标签是y，其中y取连续值，则神经元网络将预测误差最小化(y - y_hat)^2来学习权重和偏差。 当然，对于所有标记的数据点，必须将误差最小化：(xi, yi), i ∈ 1, 2, ..., m。
如果我们用一个公共向量W表示一组权重和偏差，并且预测中的总误差由C表示，则在训练过程中，估计的W可以表示为：
同样，预测输出y_hat可以由输入x的函数表示，并由权重向量W进行参数化，如下所示：
这种用于预测输出连续值的公式称为回归问题。
对于两类二分类，交叉熵损失最小，而不是平方误差损失，并且网络输出正类的概率而不是输出。 交叉熵损失可以表示为：
此处，p[i]是给定输入x的输出类别的预测概率，并且可以表示为输入x的函数。由权重向量参数化，如下所示：
通常，对于多类别分类问题（例如n类），交叉熵损失可通过以下方式给出：
在这里，y[i]^(j)是第i个数据点的第j类的输出标签。
取决于架构和当前的问题，在神经网络中使用了几种神经激活单元。 我们将讨论最常用的激活函数，因为它们在确定网络架构和表现方面起着重要作用。 线性和 Sigmoid 单元激活函数主要用于人工神经网络，直到 Hinton 等人发明的整流线性单元（ReLUs）彻底改变了神经网络的表现。
线性激活单元将总输入输出到衰减的神经元，如下图所示：
图 1.5：线性神经元
如果x是线性激活单元的总输入，则输出y可以表示如下：
Sigmoid 激活单元，y的输出是其总输入x的函数，表示如下：
由于 Sigmoid 激活单元响应是非线性函数，如下图所示，它可用于在神经网络中引入非线性：
图 1.6：Sigmoid 激活函数
自然界中任何复杂的过程通常在输入输出关系上都是非线性的，因此，我们需要非线性激活函数通过神经网络对其进行建模。 两类分类的神经网络的输出概率通常由 Sigmoid 神经单元的输出给定，因为它的输出值从零到一。 输出概率可以表示如下：
在这里，x代表输出层中 Sigmoid 单元的总输入量。
给出了双曲正切激活函数（tanh）的输出y作为其总输入的函数x如下：
tanh 激活函数输出的值在[-1, 1]范围内，如下图所示：
图 1.7：Tanh 激活函数
需要注意的一件事是 Sigmoid 和 tanh 激活函数在很小的输入范围内都是线性的，超过该范围输出就会饱和。 在饱和区，激活函数（相对于输入）的梯度非常小或接近零； 这意味着它们非常容易消失梯度问题。 正如您将在后面看到的那样，神经网络将从反向传播方法中学习，在该方法中，层的梯度取决于后续层中直至最终输出层中激活单元的梯度。 因此，如果激活单元中的单元在饱和区域中工作，则将更少的误差反向传播到神经网络的早期层。 神经网络通过利用梯度来最小化预测误差，以学习权重和偏差（W）。 这意味着，如果梯度很小或消失为零，则神经网络将无法正确学习这些权重。
当神经元的总输入大于零时，ReLU 的输出为线性，而当神经元的总输入为负时，ReLU 的输出为零。 这个简单的激活函数为神经网络提供了非线性，同时，它相对于总输入提供了一个恒定的梯度。 这个恒定的梯度有助于防止神经网络出现饱和或消失的梯度问题，如激活函数（如 Sigmoid 和 tanh 激活单元）所示。 ReLU 函数输出（如图“图 1.8”所示）可以表示如下：
ReLU 激活函数可以绘制如下：
图 1.8：ReLU 激活函数
ReLU 的限制条件之一是其输入负值的零梯度。 这可能会减慢训练速度，尤其是在初始阶段。 LReLU 激活函数（如图 1.9 所示）在这种情况下非常有用，即使输出和梯度不为零，即使输入为负值。 ReLU 输出函数泄漏可以表示如下：
将为 LReLU 激活函数提供α参数，而对于参数 ReLU，α是神经网络将通过训练学习的参数。 下图显示了 LReLU 激活函数的输出：
图 1.9：LReLU 激活函数
在多类别分类问题的情况下， softmax 激活单元通常用于输出类别概率。 假设我们正在处理n类分类问题，并且与这些类相对应的总输入如下：
在这种情况下，softmax 激活单元的第k类的输出概率由以下公式给出：
还有其他几种激活函数，大多数是这些基本版本的变体。 我们将在以下各章介绍的不同项目中讨论它们时，对它们进行讨论。
在反向传播方法中，神经网络通过梯度下降技术进行训练，其中组合权重向量W迭代更新，如下所示：
这里，η是学习率， W^(t + 1)和W^(t)分别是迭代t + 1和t时的权重向量，∇C(W^(t))是迭代t时的成本函数或误差函数对于权重向量W的梯度。 先前由w ∈ W概括的单个权重或偏差的算法可以表示为：
从前面的表达式中可以得出，梯度下降学习方法的核心在于针对每个权重计算成本函数或误差函数的梯度。
从微分的链式规则中，我们知道如果我们有 y = f(x), z = f(y)，那么以下是正确的：
该表达式可以推广为任意数量的变量。 现在，让我们看一个非常简单的神经网络，如下图所示，以了解反向传播算法：
图 1.10：说明反向传播的网络
令网络输入为二维向量， x = [x1, x2]^T， 输出标签和预测分别为 
和 
。 另外，我们假设神经网络中的所有激活单元都是 Sigmoid。 让广义权重将层l-1中的任何单元i连接到层l中的单元j表示为 
，而l层中任何单元i的偏置应表示为 
。 让我们得出一个数据点的梯度； 总梯度可以计算为训练（或小批量）中使用的所有数据点的总和。 如果输出是连续的，则可以选择损失函数C作为预测误差的平方：
可以通过将相对于W向量的成本函数最小化来确定由集合W表示的网络的权重和偏差，如下所示：
为了通过梯度下降迭代地执行成本函数的最小化，我们需要针对每个权重计算成本函数的梯度w ∈ W，如下所示：
现在我们有了所需的一切，让我们计算成本函数C相对于权重 
的梯度。 使用差分的链式规则，我们得到以下信息：
现在让我们看下面的公式：
正如您在前面的表达式中看到的那样，导数不过是预测中的误差。 通常，在存在回归问题的情况下，输出单元激活函数是线性的，因此适用以下表达式：
因此，如果我们要计算成本函数相对于输出单元总输入的梯度，则为∂C/∂s[1]^(3)。 这仍然等于输出预测中的误差。
根据输入权重和激活，输出单元上的总输入可以表示为：
这意味着∂s[1]^(3)/∂w[21]^(3) = z[2]^(3)以及成本函数相对于权重w[21]^(3)的导数通过以下方式得出：
如您所见，相对于最终输出层之前的层中的权重，该误差在计算成本函数的梯度时反向传播。 当我们计算成本函数相对于广义权重的梯度w[jk]^(2)时，这变得更加明显。 取对应于j = 1和k = 2的权重； 即w[jk]^(2)。 成本函数C相对于该权重的梯度可以表示为：
现在，∂s[2]^(2)/∂w[12]^(2) = z[1]^(2)表示：
因此，一旦我们确定了成本函数相对于神经元总输入的梯度为∂C/∂s，则任何权重的梯度w贡献了总输入量s，可以通过简单地乘以与权重相关的激活z来获得。
现在，成本函数相对于总输入的梯度s[2]^(2)可以再次通过链式法则得出，如下所示：
由于神经网络的所有单元（输出单元除外）均为 Sigmoid 激活函数，因此情况如下：
结合(1), (2), (3)，我们得到以下信息：
在前面的派生梯度表达式中，您可以看到预测误差(y_hat - y)通过与相关的激活和权重（根据微分链规则）组合以计算每一层权重的梯度而向后传播 ，因此是 AI 术语中的反向传播名称。
卷积神经网络（CNN）利用卷积运算从具有关联拓扑的数据中提取有用信息。 这最适合图像和音频数据。 输入图像在通过卷积层时会生成多个输出图像，称为输出特征映射。 输出特征映射将检测特征。 初始卷积层中的输出特征映射可以学习检测基本特征，例如边缘和颜色成分变化。
第二卷积层可以检测到稍微复杂的特征，例如正方形，圆形和其他几何结构。 随着神经网络的发展，卷积层学会了检测越来越复杂的特征。 例如，如果我们有一个 CNN 可以对图像是猫还是狗进行分类，则神经网络底部的卷积层可能会学会检测诸如头部，腿部等特征。
“图 1.11”显示了 CNN 的架构图，该 CNN 处理猫和狗的图像以对其进行分类。 图像通过卷积层，该卷积层有助于检测相关特征，例如边缘和颜色组合。 ReLU 激活会增加非线性。 激活层之后的合并层汇总本地邻居信息，以提供一定数量的平移不变性。 在理想的 CNN 中，此卷积激活池操作在网络进入密集连接之前执行了几次：
图 1.11：CNN 架构
当我们经过具有多个卷积激活池操作的网络时，图像的空间分辨率会降低，而输出特征映射的数量在每一层中都会增加。 卷积层中的每个输出特征映射都与过滤器核相关联，该过滤器核的权重是通过 CNN 训练过程学习的。
在卷积操作中，将过滤器核的翻转版本放置在整个图像或特征映射上，并为过滤器上每个位置计算过滤器核输入值与相应图像像素或特征映射值的点积。 输入图像或特征映射。 已经习惯了普通图像处理的读者可能已经使用了不同的过滤器核，例如高斯过滤器，Sobel 边缘检测过滤器等，其中许多过滤器的权重已预定义。 卷积神经网络的优点是通过训练过程确定不同的过滤器权重。 这意味着，针对卷积神经网络正在处理的问题，可以更好地定制过滤器。
当卷积运算涉及在输入的每个位置上覆盖过滤器核时，该卷积被称为跨度为 1。 如果我们选择在覆盖过滤器核时跳过一个位置，那么卷积将以两个步幅执行。 通常，如果将n位置跳过而将过滤器核覆盖在输入上，则表示卷积以n + 1的步幅执行。 大于 1 的步幅会减小卷积输出的空间大小。
通常，卷积层之后是池化层，池化层基本上总结了由池化的接收场确定的邻域中的输出特征映射激活。 例如，一个2 x 2的接收场将收集四个相邻的输出特征映射激活的本地信息。 对于最大池操作，将选择四个激活的最大值作为输出，而对于平均池化，将选择四个激活的平均值。 合并降低了特征映射的空间分辨率。 例如，对于具有2 x 2接收场的224 x 224大小的特征映射池化操作，特征映射的空间大小将减小为112 x 112。
要注意的一件事是，卷积运算减少了每层要学习的权重数。 例如，如果我们有一个空间大小为224 x 224的输入图像，而下一层的期望输出为大小为224 x 224的大小，那么对于具有完整连接的传统神经网络来说，要学习的权重数是224 x 224 x 224 x 224。对于具有相同输入和输出大小的卷积层，我们需要学习的只是过滤器核的权重。 因此，如果我们使用3 x 3过滤器核，我们只需要学习 9 个权重即可，而不是224 x 224 x 224 x 224权重。 这种简化是有效的，因为局部空间邻域中的图像和音频之类的结构之间具有高度相关性。
输入图像经过多层卷积和池化操作。 随着网络的发展，特征映射的数量增加，而图像的空间分辨率降低。 在卷积池层的末端，特征映射的输出被馈送到全连接层，然后是输出层。
输出单元取决于手头的任务。 如果执行回归，则输出激活单元是线性的，而如果是二分类问题，则输出单元是 Sigmoid 的。 对于多类别分类，输出层是 softmax 单元。
在本书的所有图像处理项目中，我们都将使用一种或另一种形式的卷积神经网络。
循环神经网络（RNN）在处理顺序或时间数据时非常有用，其中给定实例或位置的数据与先前时间步长或位置中的数据高度相关。 RNN 在处理文本数据方面已经非常成功，因为给定实例中的单词与它前面的单词高度相关。 在 RNN 中，网络在每个时间步执行相同的函数，因此名称中的术语为循环。 下图说明了 RNN 的架构：
图 1.12：RNN 架构
在每个给定的时间步长t处，计算记忆状态h[t]，基于步骤t-1处的之前的状态h[t-1]，以及时间步长t处的输入x[t]。 新状态h[t]用于在步骤t处预测输出o[t]。 控制 RNN 的方程式如下：
如果我们要预测句子中的下一个单词，则函数f[2]通常是词汇表中单词的 softmax 函数。 根据当前问题，f[1]函数可以是任何激活函数。
在 RNN 中，步骤t中的输出误差会尝试纠正先前时间步中的预测，并通过k ∈ 1, 2, ..., t-1来概括。 通过传播先前时间步长中的误差来实现。 这有助于 RNN 了解彼此相距较远的单词之间的长期依赖性。 实际上，由于梯度问题的消失和爆炸，并非总是可能通过 RNN 学习这么长的依赖关系。
如您所知，神经网络通过梯度下降来学习，并且可以通过以下步骤来学习单词在时间步t与在先序列步k之间的关系。 记忆状态h[t]^(i)相对于记忆状态h[i]^(t)的梯度。 用以下公式表示：
如果从序列步骤k的存储状态h[k]^(i)到序列步骤k + 1的存储状态h[k + 1]^(i)的权重连接由*给出u[ii] ∈ W[hh]，则以下是正确的：
在前面的等式中，s[k + 1]^(i)是在时间步k + 1时存储状态i的总输入，因此情况如下：
既然我们已经准备就绪，那么就很容易理解为什么 RNN 中可能会出现消失的梯度问题。 从前面的等式(3))和(4)得到以下结果：
对于 RNN，函数f[2]通常为 Sigmoid 或 tanh，其饱受饱和度的困扰，即具有超出指定输入值范围的低梯度。 现在，由于f[2]的导数彼此相乘，因此，如果激活函数的输入在饱和区工作，则∂h[t]^(i)/∂h[k]^(i)的斜率可以变为零，即使相对tk的中等值。 即使f[2]函数在饱和区中不起作用，但 Sigmoids 的f[2]函数的梯度始终比1小，因此很难学习序列中单词之间的远距离依存关系。 同样，可能会由于u[ii]^(t - k)因子而出现爆炸性梯度问题。 假设步t和k之间的距离约为10，而权重u[ii]，大约两点。 在这种情况下，梯度将被放大两倍，即2 ^ 10 = 1024，从而导致爆炸梯度问题。
消失的梯度问题在很大程度上由 RNN 的改进版本（称为长短期记忆（LSTM）单元）解决。 长短期存储单元的架构图如下：
图 1.13：LSTM 架构
除了记忆状态h[t]之外，LSTM 还介绍了 RNN 单元状态C[t]。 单元状态由三个门控制：遗忘门，更新门和输出门。 遗忘门确定从先前的单元状态C[t-1]保留多少信息，其输出表示如下：
更新门的输出表示如下：
潜在的新候选单元状态C_tilde[t]表示如下：
基于先前的电池状态和当前的潜在电池状态，通过以下方式提供更新的电池状态输出：
并非单元状态的所有信息都传递到下一步，并且应由输出门确定应释放多少单元状态到下一步。 输出门的输出通过以下方式给出：
根据当前单元状态和输出门，通过以下方式给出传递给下一步的更新后的内存状态：
现在出现了一个大问题：LSTM 如何避免消失的梯度问题？ LSTM 中∂h[t]^(i)/∂h[k]^(i)的等效项由∂C[t]^(i)/∂C[k]^(i)给出，可以用以下产品形式表示：
现在，单元状态单元的循环由以下给出：
由此，我们得到以下内容：
结果，梯度表达式∂C[t]^(i)/∂C[k]^(i)变为以下：
如您所见，如果我们可以将遗忘单元格状态保持在一个附近，则梯度将几乎不衰减地流动，并且 LSTM 不会遭受梯度消失的困扰。
我们将在本书中看到的大多数文本处理应用将使用 RSTM 的 LSTM 版本。
生成对抗网络，通常称为 GAN ，是通过生成器G学习特定概率分布的生成模型。 生成器G与判别器D进行零和极小极大游戏，并且两者都会随着时间的流逝而逐渐达到纳什均衡。 生成器尝试生成类似于给定概率分布P(x)生成的样本，而判别器D尝试区分生成器生成的那些假数据样本。G来自原始分布的数据样本。 生成器G尝试通过转换样本z来生成与P(x)相似的样本。 噪声分布P(z)。 判别器D在假冒时学会将生成器G生成的样本标记为G(z)；x原始时属于P(x)。 在 minimax 游戏的平衡状态下，生成器将学习生成与原始分布P(x)相似的样本，因此以下是正确的：
下图说明了学习 MNIST 数字的概率分布的 GAN 网络：
Figure 1.14: GAN architecture
判别器最小化的成本函数是二进制交叉熵，用于区分生成器生成的假数据，和属于概率分布P(x)的真实数据点z：
生成器将尝试最大化由(1)给出的相同成本函数。 这意味着，优化问题可以表示为具有效用函数 U(G, D)的 minimax 玩家，如下所示：
通常，要测量给定概率分布与给定分布的匹配程度，请使用f-发散度量，例如 Kullback-Leibler（KL）散度，詹森·香农散度和 Bhattacharyya 距离。 例如，以下给出两个概率分布P和Q之间的 KL 散度，其中对分布的期望是P：
类似地，P和Q之间的詹森香农散度给出如下：
现在，回到(2)，表达式可以编写如下：
在这里，G(x)是生成器的概率分布。 将期望扩展到其不可或缺的形式，我们得到以下内容：
对于固定的生成器分配，如果满足以下条件，则G(x)对于判别器的效用函数将最小。
用(5)替换为(3)中的D(x)，我们得到以下信息：
现在，生成器的任务是最大化工具V(G, D_hat)或最小化工具-V(G, D_hat)。 -V(G, D_hat)的表达式可以重新安排如下：
因此，我们可以看到生成器最小化-V(G, D_hat)等于最小化实际分布P(x)与生成器生成的样本分布之间的 Jensen Shannon 散度G（即G(x)）。
训练 GAN 并不是一个简单的过程，在训练这样的网络时我们需要考虑几个技术方面的考虑。 我们将使用高级 GAN 网络在第 4 章“使用 GANs 的时装行业中的风格迁移”中构建跨域风格迁移应用。
强化学习是机器学习的一个分支，它使机器和/或智能体可以通过采取特定行动在特定上下文中最大化某种形式的奖励。 强化学习不同于监督学习和无监督学习。 强化学习广泛用于博弈论，控制系统，机器人技术和其他新兴的人工智能领域。 下图说明了强化学习问题中智能体与环境之间的交互：
图 1.15：强化学习模型中的智能体与环境交互
现在，我们将研究一种流行的强化学习算法，称为 Q 学习。 Q 学习用于确定给定的有限马尔可夫决策过程的最佳动作选择策略。 马尔可夫决策过程由状态空间S； 一个动作空间A； 立即奖励集R； 给定当前状态s[t]的下一个状态的概率S[t + 1]； 当前动作a[t]； P(S[t+1]/S[t];r[t]); 和折扣系数γ定义。 下图说明了马尔可夫决策过程，其中下一个状态取决于当前状态以及在当前状态下执行的任何操作：
图 1.16：马尔可夫决策过程
假设我们有一系列状态，动作和相应的奖励，如下所示：
如果我们考虑长期奖励R[t]，则在步骤t处，它等于从t开始的每一步直到最后的立即奖励总和，如下所示：
现在，马尔可夫决策过程是一个随机过程，无法每次基于S[t]和a[t]进行相同的下一步S[t + 1]； 因此，我们对未来的奖励应用了折扣系数γ。 这意味着长期奖励可以更好地表示为：
由于在时间步t上已经实现了即时奖励，为了最大化长期奖励，我们需要最大化时间步t + 1的长期奖励（即R[t + 1]），方法是选择最佳操作。 通过采取行动a[t]的状态S[t]所期望的最大长期回报，由以下 Q 函数表示：
在每个状态s ∈ S，Q 学习中的主体尝试采取行动α ∈ A，以最大化其长期回报。 Q 学习算法是一个迭代过程，其更新规则如下：
如您所见，该算法受(1)中表达的长期奖励概念的启发。
处于状态s[t]的采取行动a[t]的总累积奖励Q(s[t], a[t])取决于即时奖励r[t]以及在新步骤s[t+1]处的，我们希望的最大长期回报。 在马尔可夫决策过程中，新状态s[t + 1]随机依赖于当前状态，即s[t]，然后通过P(S[t+1]/S[t];r[t])形式的概率密度/质量函数选取的动作a[t]。
该算法通过根据α的值对旧期望值和新长期奖励值进行加权平均，来不断更新期望长期累积奖励。
通过迭代算法构建了Q(s, a)函数后，在基于给定状态s进行游戏时，我们可以采取最佳措施a_hat， 作为最大化 Q 函数的策略：
在 Q 学习中，我们通常会处理一组有限的状态和动作。 这意味着，表格足以容纳 Q 值和奖励。 但是，在实际应用中，状态和适用动作的数量大多是无限的，并且需要更好的 Q 函数近似器来表示和学习 Q 函数。 深度神经网络是通用函数近似器，因此在这里就应运而生。 我们可以用神经网络表示 Q 函数，该神经网络将状态和动作作为输入并提供相应的 Q 值作为输出。 或者，我们可以只使用状态来训练神经网络，然后将输出作为与所有动作相对应的 Q 值。 下图说明了这两种情况。 由于 Q 值是奖励，因此我们在以下网络中处理回归：
图 1.17：深度 Q 学习函数近似器网络
在本书中，我们将使用强化学习来训练赛车，以通过深度 Q 学习自行驾驶。
通常，迁移学习是指使用在一个领域中获得的知识来解决另一领域中的相关问题的概念。 但是，在深度学习中，它专门指的是将针对特定任务训练的神经网络重新用于不同领域中的相似任务的过程。 新任务使用从先前任务中学到的特征检测器，因此我们不必训练模型就可以学习它们。
由于不同层之间的连接模式的性质，深度学习模型倾向于具有大量参数。 要训练这么大的模型，需要大量的数据； 否则，模型可能会过拟合。 对于许多需要深度学习解决方案的问题，将无法获得大量数据。 例如，在用于对象识别的图像处理中，深度学习模型提供了最新的解决方案。 在这种情况下，可以基于从现有的经过训练的深度学习模型中学习到的特征检测器，使用迁移学习来创建特征。 然后，这些特征可用于使用可用数据构建简单模型，以解决当前的新问题。 因此，新模型需要学习的唯一参数是与构建简单模型有关的参数，从而减少了过拟合的机会。 通常在大量数据上训练预训练的模型，因此，它们具有作为特征检测器的可靠参数。
当我们在 CNN 中处理图像时，初始层会学会检测非常通用的特征，例如卷曲，边缘，颜色组成等。 随着网络的深入发展，更深层次的卷积层将学会检测与特定种类的数据集相关的更复杂特征。 我们可以使用预训练的网络，并选择不训练前几层，因为它们会学习非常通用的函数。 相反，我们可以只专注于训练最后几层的参数，因为它们将学习针对当前问题的复杂函数。 这样可以确保我们需要训练的参数较少，并且可以明智地使用数据，仅训练所需的复杂参数，而不训练通用特征。
迁移学习已广泛应用于通过 CNN 进行图像处理的过程，其中过滤器充当特征检测器。 用于迁移学习的最常见的预训练 CNN 是AlexNet，VGG16，VGG19，Inception V3和ResNet等。 下图说明了用于迁移学习的预训练VGG16网络：
图 1.18：使用预训练的 VGG 16 网络进行迁移学习
以x表示的输入图像被馈送到预训练的 VGG 16 网络，以及4096维输出特征向量x'，是从最后一个全连接层中提取的。 提取的特征x'以及相应的类别标签y用于训练简单的分类网络，从而减少解决问题所需的数据。
我们将通过使用第 2 章，“迁移学习”中的迁移学习来解决医疗保健领域中的图像分类问题。
受限玻尔兹曼机（RBM）是一门无监督的机器学习算法，用于学习数据的内部表示。 RBM 具有可见层v ∈ R^m，以及隐藏层h ∈ R^n。 RBM 学习在可见层中将输入呈现为隐藏层中的低维表示。 给定可见层输入，所有隐藏层单元在条件上都是独立的。 类似地，给定隐藏层输入，所有可见层在条件上都是独立的。 给定隐藏层输入，这使得 RBM 可以独立地对可见单元的输出进行采样，反之亦然。
下图说明了 RBM 的架构：
图 1.19：受限玻尔兹曼机
权重w[ij] ∈ W将可见单元i连接到隐藏单元j，其中W ∈ R^(mxn)是所有这些权重的集合，从可见单元到隐藏单元。 可见单元的偏差由b[i] ∈ b表示，而隐藏单元的偏差由c[j] ∈ c表示。
受统计物理学中玻耳兹曼分布的思想启发，可见层向量v和隐藏层向量h的联合分布正比于配置的负能量的指数：
（1）
配置的能量由以下给出：
（2）
给定可见输入向量v的隐藏单元j的概率可以表示为：
（2）
类似地，给出隐藏输入向量h的可见单元i的概率由以下公式给出：
（3）
因此，一旦我们通过训练了解了 RBM 的权重和偏差，就可以在给定隐藏状态的情况下对可见表示进行采样，而在给定可见状态的情况下可以对隐藏状态进行采样。
类似于主成分分析（PCA），RBM 是一种方法，将一个维度（由可见层v提供）中的数据表示为不同的维度（由隐藏层h提供）。 当隐藏层的大小小于可见层的大小时，RBM 执行减小大小的任务。 RBM 通常在二进制数据上训练。
通过最大化训练数据的可能性来训练 RBM。 在成本函数相对于权重和偏差的梯度下降的每次迭代中，都会出现采样，这会使训练过程变得昂贵并且在计算上有些棘手。 一种名为对比发散的聪明采样方法（使用吉布斯采样）用于训练 RBM。
在第 6 章，“智能推荐系统”中，我们将使用 RBM 构建推荐系统。
与 RBM 十分相似，自编码器是一类无监督的学习算法，旨在发现数据中的隐藏结构。 在主成分分析（PCA）中，我们尝试捕获输入变量之间的线性关系，并尝试通过（输入变量的）线性组合来在降维空间中表示数据，这说明了数据的大部分差异。 但是，PCA 无法捕获输入变量之间的非线性关系。
自编码器是一种神经网络，可以捕获输入变量之间的非线性相互作用，同时在隐藏层中以不同维度表示输入。 在大多数情况下，隐藏层的大小小于输入的大小。 假设存在高维数据固有的低维结构，我们跳过了这一点。 例如，高维图像可以由低维流形表示，并且自编码器通常用于发现该结构。 下图说明了自编码器的神经架构：
图 1.20：自编码器架构
自编码器有两个部分：编码器和解码器。 编码器尝试将输入数据x投影到隐藏层h中。 解码器尝试从隐藏层h重构输入。 通过最小化重构误差，即来自解码器和原始输入的重构输入x_tilde之间的误差，可以训练伴随此类网络的权重。 如果输入是连续的，则最小化重构误差的平方和，以学习自编码器的权重。
如果我们用函数f[W](x)表示编码器，而解码器则用f[U](x)表示，其中W和U是与编码器和解码器关联的权重矩阵，那么情况如下：
（1）
（2）
训练集上的重构误差C，x[i], i ∈ 1, 2, 3, ..., m可以表示如下 ：
（3）
通过最小化(3)的成本函数，可以学习自编码器的最佳权重W_hat, U_hat，如下所示：
（4）
自编码器用于多种目的，例如学习数据的潜在表示，降噪和特征检测。 降噪自编码器将实际输入的噪声版本作为其输入。 他们尝试构建实际的输入，以作为重建的标签。 类似地，自编码器可以用作生成模型。 可以用作生成模型的一类这样的自编码器称为变分自编码器。 当前，变分自编码器和 GAN 作为图像处理的生成模型非常受欢迎。
现在，我们到了本章的结尾。 我们已经研究了人工神经网络的几种变体，包括用于图像处理目的的 CNN 和用于自然语言处理目的的 RNN。 此外，我们将 RBM 和 GAN 视为生成模型，将自编码器视为无监督方法，可以解决许多问题，例如降噪或解密数据的内部结构。 此外，我们还谈到了强化学习，这对机器人技术和 AI 产生了重大影响。
您现在应该熟悉本书其余各章中构建智能 AI 应用时将要使用的核心技术。 在构建应用时，我们将在需要时进行一些技术上的改动。 建议不熟悉深度学习的读者探索更多有关本章涉及的核心技术的信息，以便更全面地理解。
在随后的章节中，我们将讨论实用的 AI 项目，并使用本章中讨论的技术来实现它们。 在第 2 章，“迁移学习”中，我们将从使用迁移学习实现医疗保健应用进行医学图像分析开始。 我们希望您期待您的参与。