回顾Deep Learning三剑客的艰难历程，30年的不悔坚持

摘要：人工智能的主流算法深度学习的历史，堪称也是深度学习三剑客和共同走过的年艰难而辉煌的不悔人生。之后使用一种称为监督学习的方法来训练感知器，以正确区分不同形状。表示，多层次神经网络的结构并不会使感知器强大到有实用价值。

人工智能的主流算法Deep Learning深度学习的历史，堪称Deep History, 也是深度学习三剑客Geoff Hinton, Yann LeCun 和Yoshua Bengio共同走过的30年艰难而辉煌的不悔人生。他们如何从当年的地下小团体成为今天引领人工智能的风云人物，我们来看看其中的精彩故事。

Geoff Hinton，谷歌大脑研究小组的负责人，出生在英国，1977年在爱丁堡大学获得博士学位，开始对模拟神经网络着迷。之后在加拿大多伦多大学任教，2013年他的公司DNNresearch被Google收购。他被称为深度学习教父。

Yann LeCun, Facebook人工智能研究小组FAIR的主任，出生在巴黎，在 Université Pierre et Marie Curie获得博士学位。曾在AT&T Bell Labs工作多年，2003年起在纽约大学NYU任教，2013年获小扎邀请加盟Facebook。

Yoshua Bengio –  Université de Montréal大学教授。出生在法国，在McGill University获得博士学位，曾在MIT跟随Michael Jordan教授做博士后研究，后任职 AT&T Bell Labs，1993年起在Université de Montréal任教。

Geoff Hinton, Godfather of Deep Learning

Geoff Hinton 和Yann LeCun已成为深度学习的领袖人物，人们津津乐道于他们提出的后传播算法Backpropagation。其实在人工智能的研究中，他们只是复活了一个早已被遗忘的理论。 

当人工智能领域在20世纪50年代起步的时候，生物学家开始提出简单的数学理论，来解释智力和学习的能力如何产生于大脑神经元之间的信号传递。当时的核心思想一直保留到现在 － 如果这些细胞之间频繁通信，神经元之间的联系将得到加强。由新的体验引发的神经活动的融合会调整大脑神经元间的连接，以便在它下次出现时，更容易理解。

Frank Rosenblatt invented Perceptron 

这个故事要追溯到1956年，美国认知心理学家弗兰克·罗森布拉特（Frank Rosenblatt）基于神经元的理论发明了一种模拟神经元的方法。纽约时报称之为与"E-brain teaches itself."  这个被Rosenblatt称为感知器Perceptron的发明，可以学习如何将简单的图像分类为三角形和正方形。当时是在巨大的机器上实施模拟，缠绕着厚重的电线，但这为神经网络创立了理论和实验基础。

Rosenblatts发明的电脑有八个模拟神经元，由电机和拨号盘连接到400个光检测器。每个神经元都接收到来自光检测器的信号的一部分，将它们组合起来，并且根据它们添加到哪里，输出1或0。这些数字组成对感知器所看到的事物的描述。当然，最初的结果完全无效。之后Rosenblatt使用一种称为监督学习的方法来训练感知器，以正确区分不同形状。他向感知器显示一个图像以及正确的答案，然后，机器将调整每个神经元对其输入信号的关注度，将这些“权重”转移到将产生正确答案的设置。

Marvin Minsky and Seymour Papert at MIT 

在试过多次之后，这些调整使计算机具有足够的智能，可正确地对之前从未见过的图像进行分类。今天的深度学习网络使用复杂的算法，并拥有数百万个模拟神经元，它们之间有数十亿个连接，也是以同样的方式训练的。   

Rosenblatt预测，感知器很快就能够学会向人打招呼。他的想法成为人工智能新生领域的基石。当时研究工作的重点是使感知器具有更复杂的网络，排列成多个学习层的结构，在图层中连续传递图像或其他数据，使感知器能够解决更复杂的问题。  

不幸的是，Rosenblatt的学习算法当时对于多层结构的神经网络不起作用。在1969年，曾与他一起上过高中的人工智能先驱，MIT的权威人士Marvin Minsky，和知名专家Seymour Papert一起，写了一本批评感知器学派的书Perceptrons，扼杀了当时对神经网络的研究兴趣。Minsky表示，多层次神经网络的结构并不会使感知器强大到有实用价值。人工智能学者们也因此放弃了学习式软件的想法。他们转而使用逻辑来产生智能 - 比如下棋的能力。神经网络则被推到了计算机科学的边缘。

Geoff Hinton and Yann Lecun

尽管如此，20世纪80年代初，LeCun在巴黎读博士时，第一次读到感知器perceptrons还是被迷住了。 “我很惊讶，这种算法很有价值，不知道为什么人们会放弃它。“  他在图书馆度过了几天，疯狂寻找感知器消失之前发表的论文。然后他发现，在美国有一小群研究人员正在秘密地继续神经网络的工作。 “这是一个非常地下的运动，” 他说。在文章中仔细避开“神经”和“学习”这样的词，以避免论文审稿人的拒绝，他们正在研究一些非常像罗森布拉特碰到的老问题，尝试如何采用多层结构来训练神经网络。 

1985年，LeCun遇到了这个地下组织的核心人物Geoff Hinton，他很快加入了这个小团队。LeCun和Hinton很快成为好朋友，相互崇拜，他们一起成为恢复神经网络思想的小团体的核心。他们认为模拟自然智力中看到的核心机制是构建人工智能的途径。 “智能产生于人脑，所以从长远来看，人工智能应该像大脑系统一样工作，”Hinton说。

之后Lecun在贝尔实验室取得成功，他和Hinton等人完善了一个具有多层神经网络的学习算法，称为反向传播算法Backpropagation，引起了心理学家和计算机科学家的兴趣。但是，在LeCun的支票识别项目结束之后，反向传播似乎很难适用于其他问题。而这时一个新的数据排序的方法是由贝尔实验室的研究员发明，它不涉及模拟神经元，被视为数学上更为优雅的方法。很快，这个方法成为很多互联网公司的基石，如谷歌，亚马逊和LinkedIn，它被用来训练过滤垃圾邮件的系统，或为您推荐要购买的东西。

Yoshua Bengio and Yann Lecun

但Lecun并未放弃多层神经网络的研究。2003年，他到纽约大学之后，就和Hinton, 及第三个合作者 －蒙特利尔大学教授Yoshua Bengio，一起组成了所谓的“深度学习的阴谋 Deep Learning Conspiracy”。为了证明神经网络是有用的，他们悄悄地开发了更多层的神经网络，用更大的数据集来训练，并在更强大的计算机上运行。 LeCun的手写识别系统已经有五层神经元，但这时他们已经开发了10层或更多的神经元网络。

 到了2010年，深度学习算法在很多实际应用上开始超越其他技术，例如图像排序。 Microsoft，Google和IBM均将深度学习的算法添加到语音识别系统中。但神经网络对大多数研究人员来说仍然很陌生，并未被广泛接受。 2012年初，当一篇取得视觉识别新纪录的论文被一个领先的会议拒绝之后，LeCun甚至写了一封措辞激烈的信，最初是匿名公布的，他指责论文评审人员“无知”和“有偏见”。  

Geoff Hinton and his team won ImageNet Challenge

六个月后，一切都变了。 Hinton和两位研究生采用深度学习算法，参加了ImageNet竞赛并获得第一名。ImageNet大型视觉识别挑战赛，要求软件识别1,000种不同物体，从蚊帐到清真寺。Hinton带领的多伦多大学团队在五次尝试之内，以85%的准确度成功地识别出图像中的物体，比第二名超出10个百分点。深度学习软件的初始层的神经元在优化后可找出简单的特征，例如边缘和角落，更深层的神经元可找出更复杂的功能，如形状，直至识别出狗或人。  

LeCun回忆说，当获奖者介绍了他们的比赛结果之后，AI行业中长期对神经网络不屑一顾的专家们蜂拥而至，来到他们的房间里 。“好吧，现在我们认同你，你赢了。”

此后，从事计算机视觉的学者们很快就放弃了之前的方法，深度学习算法从此成为人工智能研究的主流。鉴于Hinton团队在ImageNet大赛的成绩，谷歌在2013年收购了Hinton创立的公司DNNresearch。从此Hinton开始同时参于Google Brain的研究。

Mark Zuckerberg and Yann LeCun

2013年12月，Facebook首席执行官Mark Zuckerberg突然出现在较大的神经网络研究会议上，并主持了一个派对，宣布LeCun加盟他们的人工智能研究中心FAIR，每周仍在纽约大学工作一天。 

LeCun至今仍然对Hinton 2012年在ImageNet大赛上的突破颇有感慨，这一年世界终于接受了他最早提出的观点。 “在某种程度上，这应该是从我的实验室出来的，” Hinton也表示赞同。“对于Yann来说，很可惜，这个突破不是他完成的。” 其实，对于赢得ImageNet挑战背后的技术，LeCun的研究团队作出的贡献较大。很可惜Lecun的学生们毕业的时间不凑巧，忙于其他事情，让他们错过了参加ImageNet大赛。” 目前LeCun正在寻求深度学习的下一个突破，希望能和Hinton打个平手。

2015年5月，他们三人联名在美国《Nature自然》杂志上发表了一篇论文－Deep Learning深度学习。经过30多年的不悔坚持，深度学习的三剑客终于从最初的秘密小团队，成为AI主流研究的领袖人物，笑到了最后。

商业智能与数据分析群

兴趣范围包括各种让数据产生价值的办法，实际应用案例分享与讨论，分析工具，ETL工具，数据仓库，数据挖掘工具，报表系统等全方位知识

QQ群：81035754