摘要：然而反向传播自诞生起，也受到了无数质疑。主要是因为，反向传播机制实在是不像大脑。他集结了来自和多伦多大学的强大力量，对这些替代品进行了一次评估。号选手，目标差传播，。其中来自多伦多大学和，一作和来自，来自多伦多大学。
32年前，人工智能、机器学习界的泰斗Hinton提出反向传播理念，如今反向传播已经成为推动深度学习爆发的核心技术。
然而反向传播自诞生起，也受到了无数质疑。这些质疑来自各路科学家，也来自Hinton自己。
主要是因为，反向传播机制实在是不像大脑。
去年九月，Hinton站在众人面前，亲口说出他对反向传播“深感怀疑”，并且振臂一呼的号召：“我的观点是把它全部抛掉，重头再来。”
他不止这么说，也在亲自践行。
这些年来，科学家们也为反向传播寻找了不少“生物学上更合理”、也就是更像大脑工作机制的替代品。但这些是通往未来的道路么？
Hinton决定亲自尝试一下。他集结了来自DeepMind和多伦多大学的强大力量，对这些替代品进行了一次评估。结论是：
在比较复杂的分类任务 (如ImageNet) 里，那些更像大脑机制的算法，都远不及反向传播。
对比测试
在Hinton参与的新论文Assessing the Scalability of Biologically-Motivated Deep Learning Algorithms and Architectures里，反向传播的挑战者包括：
1号选手，目标传播 (Target-Propagation，TP) 。
2号选手，反馈对比 (Feedback Alignment，FA) 。
3号选手，目标差传播 (Difference Target Propagation，DTP) 。
三位选手，还各自拥有几种变体。
加上守擂方反向传播，四者挑战的有MNIST、CIFAR以及最难的ImageNet这几个分类数据集。
谁的学习能力，能更好地推广到复杂的数据集里，就代表它更有潜力，去解释大脑的运作。
先来看MNIST和CIFAR两项比赛的成绩。
下划线加粗为较佳
无论是在全连接 (Fully-Connected) 还是局部连接 (Locally-Connected) 的神经网络中，反向传播的表现都是较好的。
除此之外，用BP训练的CNN，拥有共享权重 (Shared Weights) ，也能有效提升模型的表现。
这一点值得注意，是因为CNN在生物学意义上，有一个“不太可取”的特性，就是权重共享。
因为，每个神经元的权值，都需要非常较精确地传递开来，这个操作在自然界里太不现实。
不过，数据证明，权重共享并不是“不可取”。它的存在，大大减少了自由参数，让模型的学习能力更容易向复杂任务中推广。于是，BP ConvNet击败了亲近自然的方法，和它们更加自然的变体。
说到更加复杂的任务，下一个比赛场地，就是ImageNet数据集了。
遗憾的是，在ImageNet这座大山面前，所有的方法成绩都不理想。
但在所有的不理想中间，反向传播的表现依然优于其他选手，且以卷积网络的版本为最优。
也就是说，即便无法像人类一样轻取复杂问题，反向传播依然离这个目标更近，加上共享权重就更近。
研究团队在论文中说，如果想从生物学上，找到学习效果更好的算法，反向传播的挑战者们还有很长的路要走。
不论是现有的“生物学合理”的算法，还是大家要找的新方法。
是啊，路还长，这次的比赛成绩也只是阶段性结果。
未来，翘首以待。
论文
为了完成这个研究，来自多家著名机构的学者，组成了一个特混战队。
其中Hinton来自多伦多大学和Google Brain，Sergey Bartunov（一作）和Adam Santoro来自DeepMind，Blake A. Richards来自多伦多大学。Timothy P. Lillicrap来自DeepMind和UCL。
外界对这篇论文也有一些很强烈的赞誉之声。
譬如，有人说这是一个伟大的研究，随着时间的推移，这些讨论会变得越来越有意思；也有人说被这个研究惊到了。
当然，也有人持保留意见。
不知道你会怎么认为，去读Paper吧。
这篇评估了反向传播各路替代品的论文是：
Assessing the Scalability of Biologically-Motivated Deep Learning Algorithms and Architectures
作者：Sergey Bartunov, Adam Santoro, Blake A. Richards, Geoffrey E. Hinton, Timothy Lillicrap
最近这篇论文也发到了arXiv上，大家有空可以看一看。
传送门：
https://arxiv.org/pdf/1807.04587.pdf
特立独行
Hinton从来都不是一个跟随主流的人。他声名煊赫的整个家族都弥漫着这样的一种气质。
1972年，25岁的Hinton在爱丁堡大学攻读博士学位，并把神经网络作为研究重点。导师几乎每周都会提醒他在浪费时间。然而Hinton不为所动。
实际上几十年来，Hinton一直徘徊在人工智能研究的边缘地带。他像一个局外人一样坚守着一个简单的观点：计算机可以像人类一样思考，依靠直觉而不是规则。
一直到大约2009年前后，神经网络才又引发更多人的关注。谈到那些灰暗的日子，Hinton给出了这样的回答：
“是什么支持着你不放弃？”
“其他人都错了。”
“我们本来在体制之外，力图证明传统路线是错的，然而有趣的是，转眼间我们成了正统。”Hinton的学生、OpenAI创始人Ilya Sutskever说。
作为机器学习的先锋，Hinton从中开辟了“深度学习”这个子领域，这让计算机可以自动建立起一层层的智慧。
得益于近年来计算力的猛增，深度学习成为主流方法，从我们智能手机里的语音识别、图像探测到亚马逊为你推荐的图书，都离不开它。
因为患有腰间盘突出，坐下变成一种痛苦，从2005年开始，Hinton就不再坐着了，工作时就一直站着。而现在站立工作，似乎也是一种风潮。
“我领先于潮流，”Hinton说。
声明：文章收集于网络，如有侵权，请联系小编及时处理，谢谢！
欢迎加入本站公开兴趣群商业智能与数据分析群
兴趣范围包括各种让数据产生价值的办法，实际应用案例分享与讨论，分析工具，ETL工具，数据仓库，数据挖掘工具，报表系统等全方位知识
QQ群：81035754
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/4786.html
摘要：近几年以卷积神经网络有什么问题为主题做了多场报道，提出了他的计划。最初提出就成为了人工智能火热的研究方向。展现了和玻尔兹曼分布间惊人的联系其在论文中多次称，其背后的内涵引人遐想。 Hinton 以深度学习之父 和 神经网络先驱 闻名于世，其对深度学习及神经网络的诸多核心算法和结构（包括深度学习这个名称本身，反向传播算法，受限玻尔兹曼机，深度置信网络，对比散度算法，ReLU激活单元，Dropo...
摘要：本文试图揭开让人迷惘的云雾，领悟背后的原理和魅力，品尝这一顿盛宴。当然，激活函数本身很简单，比如一个激活的全连接层，用写起来就是可是，如果我想用的反函数来激活呢也就是说，你得给我解出，然后再用它来做激活函数。 由深度学习先驱 Hinton 开源的 Capsule 论文 Dynamic Routing Between Capsules，无疑是去年深度学习界最热点的消息之一。得益于各种媒体的各种...
摘要：在最近的一次人工智能会议上，表示自己对于反向传播非常怀疑，并提出应该抛弃它并重新开始。在人工智能多年的发展过程中，反向传播已经成为了深度学习不可或缺的一部分。最后，我们会将这些规则组合成可用于任意神经网络的反向传播算法。 现在的深度学习发展似乎已经陷入了大型化、深度化的怪圈，我们设计的模型容易被对抗样本欺骗，同时又需要大量的训练数据——在无监督学习上我们取得的突破还很少。作为反向传播这一深度...
摘要：有几次，人工智能死在人工神经网络上。在过去十年中，他一直在举办为期一周的有关神经网络的暑期学校，我曾经拜访过。神经网络压缩信息之后，这些信息无法复原。 魔法已经进入这个世界。如今，许多美国人口袋里装着薄薄的黑色平板，这些机器接入遥远的数字云和卫星，它们解码语言、通过摄像头观察并标记现实，挖掘个人数据，它们以某种方式理解、预测着我们的心愿。倾听、帮助着人类。因为与多伦多大学有个约会，这个夏天，...
摘要：在最近的一次大会上，表示，他对反向传播深表怀疑，并认为我的观点是将它完全摒弃，然后重新开始。相对于对象函数计算反向传播。通常，目标函数是预测分布与实际分布之间差异的量度。所以也许无监督的学习不需要目标函数，但是它仍然可能需要反向传播。 Geoffrey Hinton终于公开阐述了他对那些早已令许多人惶恐不安的事物的看法。在最近的一次AI大会上，Hinton表示，他对反向传播深表怀疑，并认为：...
阅读 755·2021-11-22 15:25
阅读 1375·2021-09-08 09:45
阅读 1632·2021-09-02 09:46
阅读 1270·2019-08-30 15:56
阅读 1474·2019-08-29 15:14
阅读 1100·2019-08-29 13:06
阅读 1948·2019-08-29 12:34
阅读 1356·2019-08-26 12:14
