资讯专栏INFORMATION COLUMN

「深」到什么程度才能称得上是「深度」学习呢?

fsmStudy / 2387人阅读

摘要:考虑到这一点,我们将这种方法称为深度学习。这使我们回到原来的问题上我们不是因为深度模型而将其称为深度学习。这意味着具有个完全连接的层并且只有完全连接的层的神经网络将不再是深度学习模型,而某些具有少量卷积层的网络却可以称为深度学习。

不管你是业内人士还是业外人士,在人工智能以燎原之势发展的今天,相信对于AI、机器学习、深度学习这些词汇,你或多或都有一定的了解,而其中作为人工智能前沿的深度学习,火爆程度更是非同寻常,似乎每个人都在探求它的奥妙和神奇之处。

而当我们第一次接触深度学习这个概念时,通常会遇到这样一个问题:

“一个机器学习模型深到何种程度才能被视作深度学习模型?”

这可能听起来像是一个好问题。毕竟,在深度学习中,我们使用的都是更深、更复杂的模型。

但结果却表明,我们提出的是一个非常愚蠢的问题,我们需要从一个不同的角度切入,来看深度学习以了解为什么。

那接下来我们先来了解一下深度学习的几组定义。

“机器学习中的一个子领域,它是基于学习多种表现形式的算法,以便在数据之间建立复杂关系。因此,较高级别的特征和概念就是根据较低级别的特征和概念进行定义的,且这种特征层次被称之为深度架构。”——《深度学习:方法与应用》

“概念层次结构允许计算机通过从简单的概念中构建复杂的概念,然后学习这些复杂的概念。 如果我们绘制一个能够显示这些概念是如何相互叠加的图形,那么这个图形一定是具有深度的,且具有很多层。考虑到这一点,我们将这种方法称为AI深度学习。”——《深度学习》 .麻省理工学院出版社,Ian Goodfellow、Yoshua Bengio和Aaron Courville。

这是一种称为分层特征学习的概念。为了理解这一点,让我们回顾一下深度学习模型的运作方式。

以卷积神经网络为例。

卷积神经网络是深度学习的一个典范。它们的兴起启发于神经元是如何在视觉皮层(处理视觉输入的大脑区域)排列的。在这里,不是所有的神经元都连接到视觉域的所有输入。取而代之的是,视觉区域是由一组神经元(称为接受域)组成的,它们部分地相互重叠。

卷积神经网络(CNN)的工作方式与之类似。它们使用数学卷积运算符来处理输入的重叠部分(其近似接收域的工作方式)。

卷积神经网络

典型CNN的第一卷积层使用一组卷积滤波器来识别输入图像中的一组低级特征。然后将这些已识别出的低级特征合并(来自池化层),并将其作为下一个卷积层的输入,该卷积层使用另一组卷积滤波器从先前识别的较低级别特征中识别一组较高级别的特征。这将继续几层,其中每个卷积层使用来自前一层的输入来识别比前一层更高级别的特性。最后,最后一个卷积层的输出传递给一组完全连接的层,以用于进行最终分类。

实质上,CNN的卷积滤波器首先要识别较低层次的特征,并使用这些已识别的特征通过多个步骤逐步识别更高层次的特征。

这是我们之前讨论的分层特征学习,它是深度学习的关键,它与传统的机器学习算法有什么区别?

 

分层特征学习

一个深度学习模型(如卷积神经网络)并不会试图即刻理解整个问题所在。

也就是说,它不会像传统的算法一样,试图一次性地掌握所有的输入特征。

它所做的就是逐件地查看输入,并从中获得较低级别的模式/特征,然后,使用这些较低级别的特征来逐层识别更多级别的特征,这些都是通过对多层进行逐此分层实现的。

这使得深度学习模型能够学习复杂的模式,通过从简单的模式逐渐构建它们。这也使深度学习模型能够更好地理解世界,而不仅仅是“看见”特征,还可以看到这些特征的构建层次结构。

 

当然,必须分层学习特征意味着模型必须有很多层。这意味着这样一个模式将会“很深”。

这使我们回到原来的问题上:我们不是因为深度模型而将其称为深度学习。而是为了实现层次化学习,模型需要深度。深度是实现分层特征学习的副产品。

 

分层特征学习是使得深度学习模型能够抛开传统机器学习模型中的“平台效应(Plateau in Performance)”的原因。

  

深度学习(不具备)平台效应

 

那么,我们如何识别模型是深度学习模型还是普通模型?

 

简单地说,如果模型使用分层特征学习——首先识别较低级别的特征,然后建立在它们之上以识别更高级别的特征(例如通过使用卷积滤波器),那么它就是一个深度学习模型。如果没有,那么无论你的模型有多少层,那么它都不被认为是深度学习模型。

 

这意味着具有100个完全连接的层(并且只有完全连接的层)的神经网络将不再是深度学习模型,而某些具有少量卷积层的网络却可以称为深度学习。

欢迎加入本站公开兴趣群

商业智能与数据分析群

兴趣范围包括各种让数据产生价值的办法,实际应用案例分享与讨论,分析工具,ETL工具,数据仓库,数据挖掘工具,报表系统等全方位知识

QQ群:81035754

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/4611.html

相关文章

  • 图文并茂揭开学习神秘面纱,兼谈人工智能狂热的荒诞

    摘要:对深度学习模型而言,水就是海量的数据。就拿机器识别物体这样的任务来说,通过数百万副图片的训练,深度学习模型甚至可以超过人的肉眼的识别能力,这确实是人工智能在感知类问题上重要的里程碑。关于深度学习,还有一个有趣的现象。 说到人工智能和机器人,上点儿岁数的码农们可能对封面这张图有点印象。不明就里的朋友,可以回去补习一下《编辑部的故事》。我是个二手的人工智能表演艺术家:从博士毕业开始,就在MSRA...

    jimhs 评论0 收藏0
  • 让AI简单且强大:学习引擎OneFlow技术实践

    摘要:本文内容节选自由主办的第七届,北京一流科技有限公司首席科学家袁进辉老师木分享的让简单且强大深度学习引擎背后的技术实践实录。年创立北京一流科技有限公司,致力于打造分布式深度学习平台的事实工业标准。 本文内容节选自由msup主办的第七届TOP100summit,北京一流科技有限公司首席科学家袁进辉(老师木)分享的《让AI简单且强大:深度学习引擎OneFlow背后的技术实践》实录。 北京一流...

    chenjiang3 评论0 收藏0
  • 拷贝的终极探索(99%的人都不知道)

    摘要:划重点,这是一道面试必考题,我靠这道题刷掉了多少面试者嘿嘿首先这是一道非常棒的面试题,可以考察面试者的很多方面,比如基本功,代码能力,逻辑能力,而且进可攻,退可守,针对不同级别的人可以考察不同难度,比如漂亮妹子就出题,要是个帅哥那就得上了, 划重点,这是一道面试必考题,我靠这道题刷掉了多少面试者✧(≖ ◡ ≖✿)嘿嘿 首先这是一道非常棒的面试题,可以考察面试者的很多方面,比如基本功,代...

    qingshanli1988 评论0 收藏0
  • 当AlphaGo火了以后,我们来聊聊学习

    摘要:大家好,我是黄文坚,今天给大家讲讲深度学习。我们再来看看这两个深度学习的网络,左边是策略网络,我走到一步的时候,分析棋盘上每个位置有多大价值,给每个位置打一个分数。可以说深度学习让机器人拥有几岁小孩拾起物体的能力。 大家好,我是黄文坚,今天给大家讲讲深度学习。我不讲技术原理,讲讲技术应用。深度学习是我们明略重要的研究方向,是未来实现很多令人惊叹的功能的工具,也可以说是通向人工智能的必经之路。...

    silvertheo 评论0 收藏0
  • 什么我需要学习

    摘要:为什么我又要重新开始写机器学习相关的文章了最主要的原因是现在的机器学习和五年前十年前区别很大。深度学习带来了什么深度学习最重要的东西就是自带了特征学习,有时候也被翻译为表征学习,简单来说就是,不需要进行特别的特征抽取。 1.为什么我开始写这个系列博客说五年前我还在某A云公司的时候,身在一个机器学习算法组,对机器学习怀有浓厚的兴趣。花了好多的时间来试图搞清楚各种流行的机器学习算法,经常周末也跟...

    lordharrd 评论0 收藏0

发表评论

0条评论

fsmStudy

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<