深度学习研究综述

这里 ｂ 和 α ｉ形成第二计算层。核函数 K（ x， xi ） 将输入x匹配到训练样本 xi， 并在全局范围求和。式（1） 的结果可作为分类器的区分类标签， 或者回归预测器的预测值。利有局部核函数的核方法能获取泛化性能， 因其利用光滑性的先验知识，即目标函数可利用光滑函数逼近。在监督学习中， 由训练样本（xi,yi）组建预测器， 当输入 x与 xi靠近时， 输出接近 yi。通常这是合理假设， 但文献［ ９ ］ 中指出当目标函数非常复杂时， 这样的模型泛化能力很差。其原因是利用局部估计学习算法表示函数时。一个局部估计子将输入空间进行切分， 并需要不同自由度参数来描述目标函数在每一区域的形状。当函数较为复杂时， 需要利用参数进行描述的区域数目也是巨大的。固定核函数的这种局限性已引起基于先验知识设计核函数的研究，而如果缺乏足够的先验知识是否可通过学习获取一个核函数？该问题同样引起大量研究。Lanckriet 等人［ 16 ］提出利用半正定规划技术学习数据的核矩阵， 然后利用该核矩阵获取较好的泛化性能。然而当学习到的核函数相互关联时， 能否获取更加简洁的表示。深度学习即基于这种思想并通过多次网络学习输入样本的分布式表示， 被认为是较有前景的方法。

分布式表示［ 17 ］是在机器学习和神经网络研究中可以处理 维数灾难， 和局部泛化限制的一个古老的思想。如图 １所示， 分布式表示由一系列有可能是统计独立的显著特征组成， 与局 部泛化的方法向对比， 基于分布式表示的可区分模式的数目与 分布式表示的维数（ 学习到的特征） 是指数倍关系的。参数数 目上的减少对统计机器学习是非常有意义的， 因为不仅可以降 低运算量， 同时仅需相对较少的样本即可避免过拟合现象的发 生。而聚类算法和最近邻算法等局部表示算法将输入空间切 分如图 １左侧所示， 不同局部之间是互斥的， 不能形成简洁的 分布式表示。Ｉ Ｃ Ａ、 Ｐ Ｃ Ａ和 Ｒ Ｂ Ｍ等算法用较少的特征将输入 空间切分如图 １右侧所示， 并构建分布式表示， 参数数目和需 要的样本数要比子区域的数目少得多， 这也是为什么会对未观 测数据泛化的原因。Ｐ Ｃ Ａ和 Ｉ Ｃ Ａ可以获取输入的主要分量信 息， 但对于输出信号数目小于输入信号数目时， 不能很好地解 决欠定问题。文献［ １ ８ ］ 中提出了利用自联想神经网络来提取 数据的非线性主分量的方法， 该学习方法的目的是通过事物的 部分信息或者带噪声的信息来还原事物的本来信息。自联想 神经网络的隐层节点数目少于输入节点数目时， 可认为在自联 想过程中， 这些隐层能够保留数据集中的主要信息。多层神经 网络和Boltzmann机已被用于学习分布式表征。文献［ 19］ 已 证明利用 DBN学习特征空间对高斯过程回归的性能进行提 高。深度学习算法可以看成核机器学习中一个优越的特征表 示方法。文献［ ２ ］ 指出单个决策树的泛化性能随目标函数变 量增加而降低。多个树的集成（ 森林） 比单个树更加强大， 也 是因为增加了一个第三层， 并潜在地形成分布式表示， 可表达 与子树数目指数倍个的分布。

4.深度学习成功的关键

深度学习具有多层非线性映射的深层结构， 可以完成复杂的函数逼近是深度学习优势之一； 此外深度学习理论上可获取

分布式表示， 即可通过逐层学习算法获取输入数据的主要驱动变量。该优势是通过深度学习的非监督预训练算法完成。通过生成性训练可避免因网络函数表达能力过强， 而出现过拟合情况。但由于单层有限的计算能力， 通过多层映射单元可提取出主要的结构信息。文献［14］ 深入分析并通过实验验证了贪婪层次非监督深度学习方法优势所在。

典型的深度学习结构

深度学习涉及相当广泛的机器学习技术和结构， 根据这些结构和技术应用的方式。可以将其分成如下三类：

ａ ） 生成性深度结构。该结构描述数据的高阶相关特性，或观测数据和相应类别的联合概率分布。

ｂ ） 区分性深度结构。目的是提供对模式分类的区分性能力。通常描述数据的后验分布。

ｃ ） 混合型结构。它的目标是区分性的， 但通常利用了生成型结构的输出会更易优化。

1.生成型深度结构

文献［ ２ １ ］ 首次提出的 Ｄ Ｂ Ｎ是目前研究和应用都比较广泛的深度学习结构。与传统区分型神经网络不同， 可获取观测数据和标签的联合概率分布， 这方便了先验概率和后验概率的估计， 而区分型模型仅能对后验概率进行估计。Ｄ Ｂ Ｎ解决传统 Ｂ Ｐ算法训练多层神经网络的难题： ａ ） 需要大量含标签训练样本集； ｂ ） 较慢的收敛速度； ｃ ） 因不合适的参数选择陷入局部最优。Ｄ Ｂ Ｎ由一系列受限波尔兹曼机（ Ｒ Ｂ Ｍ） 单元组成。Ｒ Ｂ Ｍ是一种典型神经网络， 如图２所示。该网络可视层和隐层单元彼此互连（ 层内无连接） 。隐单元可获取输入可视单元的高阶相关性。相比传统 ｓ ｉ ｇ ｍ ｏ ｉ ｄ信度网络， Ｒ Ｂ Ｍ权值的学习相对容易。为获取生成性权值， 预训练采用无监督贪心逐层方式来实现。在训练过程中， 首先将可视向量值映射给隐单元； 然后可视单元由隐层单元重建； 这些新可视单元再次映射给隐单元，这样就获取新的隐单元。执行这种反复步骤叫做吉布斯采样。

其中： vi是满足均值为， 方差为１的高斯分布的实数值。高斯—伯努利 Ｒ Ｂ Ｍｓ 可将实值随机变量转换到二进制随机变量， 然后再进一步利用伯努利—伯努利 Ｒ Ｂ Ｍｓ 处理。利用对数似然概率 ｌ ｏ ｇ（ ｐ （ ｖ ； θ ） 梯度， 可推导出 Ｒ Ｂ Ｍ的权值更新准则：

其中：  是在观测数据训练集中的期望； 是模型中定义的期望。精心训练 Ｒ Ｂ Ｍ对成功应用深度学习是一个关键。文献［ ２ ０ ］ 提供了对 Ｒ Ｂ Ｍ实际训练的指导。通过自底向上组合多个 Ｒ Ｂ Ｍ可以构建一个 Ｄ Ｂ Ｎ ， 如图 ３所示。应用高斯—伯努利 Ｒ Ｂ Ｍ或伯努利—伯努利 Ｒ Ｂ Ｍ。可用隐单元的输出作为训练上层伯努利—伯努利 Ｒ Ｂ Ｍ的输入。第二层伯努利和伯努利的输出作为第三层的输入等。这个逐层高效的学习策略理论证明可参见文献［ ２ １ ］ 。它指出上述逐层学习程序提高了训练数据基于混合模型的似然概率的变化下界。

2.区分性深度结构 卷积神经网络（ Ｃ Ｎ Ｎ ｓ ） 是第一个真正成功训练多层网络结构的学习算法。与 Ｄ Ｂ Ｎ ｓ 不同， 它属于区分性训练算法。受视觉系统结构的启示， 当具有相同参数的神经元应用于前一层的不同位置时， 一种变换不变性特征就可获取了。后来 Ｌ ｅ Ｃ ｕ ｎ等人沿着这种思路， 利用 Ｂ Ｐ算法设计并训练了 Ｃ Ｎ Ｎ ｓ 。Ｃ Ｎ Ｎ ｓ作为深度学习框架是基于最小化预处理数据要求而产生的。受早期的时间延迟神经网络影响， Ｃ Ｎ Ｎ ｓ 靠共享时域权值降低复杂度。Ｃ Ｎ Ｎ ｓ 是一个利用空间关系减少参数数目以提高一般前向 Ｂ Ｐ训练的一种拓扑结构， 并在多个实验中获取了较好性能［ ５ ，２ ２ ］。在 Ｃ Ｎ Ｎ ｓ 中被称做局部感受区域的图像的一小部分作为分层结构的最底层输入。信息通过不同的网络层次进行传递， 因此在每一层能够获取对平移、 缩放和旋转不变的观测数据的显著特征。

文献［ ５ ，２ ２ ］ 描述 Ｃ Ｎ Ｎ ｓ 在 ＭＮ Ｉ Ｓ Ｔ数据库中的手写体识别应用情况。如图４所示， 本质上， 输入图形与一系列已训练的滤波器系数进行卷积操作。后经加性偏置和压缩、 特征归一化等。最初阶段伴随进一步降维的下采样（ Ｃ ｘ ） 提供对空域变化的鲁棒性。下采样特征映射经加权后的可调偏置， 最终利用激活函数进行传递。组合多个上述映射层如图 ５所示可获取层间关系和空域信息。这样 Ｃ Ｎ Ｎ ｓ 适于图像处理和理解。国内学者夏丁胤［ ２ ３ ］将这种网络应用于网络图像标注中。最近Ｃ Ｎ Ｎ ｓ 已应用于包括人脸检测、 文件分析和语音检测中等不同机器学习的问题中。

文献［ ７ ］ 近期提出一新的深度学习算法。Ｄ Ｃ Ｎ如图 ６所示， 每层子模块是含单隐层和两个可训练的加权层神经网络。Ｄ Ｃ Ｎ是由一系列分层子模块串联组成。模块第一个线性输入层对应输入特征维数， 隐层是一系列非线性参数可调单元， 第二线性输出包含线性输出单元及原始输入数据。最顶模块的输出代表分类目标单元。例如， 如果 Ｄ Ｃ Ｎ设定用于实现数字

识别， 输出可表示成 １～１ ０的 ０  １编码。如用于语音识别， 输入对应语音波形采样或波形提取特征， 如功率谱或倒谱系数，输出单元代表不同音素。

3.混合型结构

混合型结构的学习过程包含两个部分， 即生成性部分和区分性部分。现有典型的生成性单元通常最终用于区分性任务。生成性模型应用于分类任务时， 预训练可结合其他典型区分性学习算法对所有权值进行优化。这个区分性寻优过程通常是附加一个顶层变量来表示训练集提供的期望输出或标签。然后 Ｂ Ｐ算法可用于优化 Ｄ Ｂ Ｎ权值。它的初始权值通过在 Ｒ Ｂ Ｍ和 Ｄ Ｂ Ｎ预训练中得到而非随机产生。这样的网络通常会比仅通过 Ｂ Ｐ算法多带带训练的网络性能优越。可以认为 Ｂ Ｐ对Ｄ Ｂ Ｎｓ 训练仅完成局部参数空间搜索， 与前馈型神经网络相比加速了训练和收敛时间。最近基于 Ｄ Ｂ Ｎ ｓ 的研究包括应用层叠自动编码器取代传统 Ｄ Ｂ Ｎ ｓ 中的 Ｒ Ｂ Ｍｓ 。该方法可采用和 Ｄ Ｂ Ｎ ｓ相同的训练准则， 不同的是自动编码器利用区分性模型。去噪自动编码器在训练中引入随机变化过程可以产生可以与传统的 Ｄ Ｂ Ｎ ｓ相比拟的泛化性能。对单个去噪自动编码器的训练与 Ｒ Ｂ Ｍｓ 生成模型一致的。

深度学习应用现状

深度学习在信号处理中的应用对象不仅包含语音、 图像和视频， 同样也包含文本、 语言、 和传递人类可获知的语义信息。传统的 ＭＬ Ｐ已经在语音识别领域应用多年， 在多带带使用的情况下它们的性能远低于利用 Ｇ ＭＭ Ｈ ＭＭ的系统。最近， 凭借具有很强区分性能力的 Ｄ Ｂ Ｎ ｓ 和序列建模能力的 Ｈ ＭＭｓ ， 深度学习技术成功应用于语音， 大词汇量连续语音识别（ Ｌ Ｖ Ｃ Ｓ Ｒ ） ［ ２ ４ ］任务。文献［ ２ ５ ］ 利用五层 Ｄ Ｂ Ｎ来替换 Ｇ ＭＭ Ｈ ＭＭ中的高斯混合模型， 并利用单音素状态作为建模单元进行语音识别。文献［ ２ ６ ］ 中， Ｎ ａ ｉ ｒ 等人提出在顶层利用三阶波尔兹曼机的改进型 Ｄ Ｂ Ｎ ， 并将该 Ｄ Ｂ Ｎ应用于三维物体识别任务 Ｎ Ｏ Ｒ Ｂ数据库， 给出了接近于历史较好识别误差结果， 特别地， 它指出

Ｄ Ｂ Ｎ实质上优于 Ｓ Ｖ Ｍｓ 等浅层模型。文献［ ２ ７ ］ 提出了 ｔ Ｒ Ｂ Ｍ，并利用自动编码器对舌轮廓进行实时提取。与一般训练不同的是， 它首先采用利用样本数据和人工提取的轮廓数据都同时作为训练样本输入， 经正常的自动编码器输出； 训练完毕后， 利用提出的 ｔ Ｒ Ｂ Ｍ对顶层进行改进， 以使仅有感知图像作为输入对舌轮廓进行预测。此外深度学习在语言文件处理的研究日益受到普遍关注。利用神经网络对语言建模已有很长的历史，在语音识别， 机器翻译， 文本信息检索和自然语言处理方面具有重要应用。最近， 深层网络已经开始吸引语言处理和信息检索方面的研究人员的注意。文献［ ２ ８ ］ 利用基于Ｄ Ｂ Ｎ的多任务学习技术来解决机器字译问题， 这可以推广到更困难的机器翻译问题。利用 Ｄ Ｂ Ｎ和深度自动编码器对文件检索可以显示基于单词特征， 与广泛应用的语义分析相比具有明显优势， 可令文献检索更容易， 这一思想已被初步扩展到音频文件检索和语音识别类问题［ ２ ９ ］。

4.总结展望

深度学习已成功应用于多种模式分类问题。这一领域虽处于发展初期， 但它的发展无疑会对机器学习和人工智能系统产生影响。同时仍存在某些不适合处理的特定任务， 譬如语言辨识， 生成性预训练提取的特征仅能描述潜在的语音变化， 不会包含足够的不同语言间的区分性信息。虹膜识别等每类样本仅含单个样本的模式分类问题也是不能很好完成的任务。深度学习目前仍有大量工作需要研究。模型方面是否有其他更为有效且有理论依据的深度模型学习算法。探索新的特征提取模型是值得深入研究的内容。此外有效的可并行训练算法也是值得研究的一个方向。当前基于最小批处理的随机梯度优化算法很难在多计算机中进行并行训练。通常办法是利用图形处理单元加速学习过程。然而单个机器 Ｇ Ｐ Ｕ对大规模数据识别或相似任务数据集并不适用。在深度学习应用拓展方面， 如何合理充分利用深度学习在增强传统学习算法的性能仍是目前各领域的研究重点。

参考文献略