人工神经网络正在学习记忆

aaron 发布于2019-04-25 17:58 / 1233人阅读

摘要：长期以来，困扰人工神经网络的难题就是如何设计出一套系统，不仅能够自行学习，而且在尝试新事物时，仍然记得曾经学过的东西。

DeepMind的研究人员指出，让系统学会「记忆」是一块全新的研究领域，他们正在试图解决这个难题。这篇文章正好谈到这个问题并介绍了当前的研究进展。

虽然诸多科技大佬（譬如Musk、霍金）都悲观的认为，人类终究会被自己制造出来的数字「生物」奴役。但现在，即便是最复杂的计算机，也无法与人类大脑比肩，其中一个原因就是那些模仿人脑的神经网络还无法像人类那样进行记忆，但好（坏）消息是，的研究正在改变这种状况。

长期以来，困扰人工神经网络的难题就是如何设计出一套系统，不仅能够自行学习，而且在尝试新事物时，仍然记得曾经学过的东西。神经网络输入时，它会在数字神经元与输出方案之间建立联系。而当它学习新事物时，神经网络不得不重新建立新的联系，同时有效覆盖旧的联系。

这被称之为「灾难性忘却」（catastrophic forgetting），俨然成了人工智能实现与真实世界与时俱进路上的绊脚石。之前解决这个问题的一个方法是将神经网络接入一个外部记忆装置，这个装置储存着机器学习过的一切信息。但是，问题在于，神经网络能够自己学会记忆吗？

既然人工神经网络的灵感源自生物学，当一个集合了法国、挪威和美国研究人员的国际团队试图从动物大脑获取的灵感，利用模块化（modularity）来解决「灾难性忘却」的难题，也就不足为奇了。

这个方法的出发点在于，动物大脑由许多紧密的神经元（组成某个团簇的神经元也和其他团簇松散相连）团簇模块组成。通过将神经网络划分为若干模块，动物能够学习更多的东西，那么通过这个办法，人工神经网络的「记忆」研究能有新突破吗？

图片来自视频截图

在最近发布在PLoS Computational Biology（这是一份面向计算生物学的月刊，创立于2005年——译者注）上的一篇论文中，研究人员展现了如何将动物进化原则以及现代记忆学习理论运用到神经网络，从而让虚拟大脑中产生模块。

科学家认为，受生物学启发的第一个设计原则是大脑记忆成分布状。当你回想某些信息时，并不存在一个供你提取信息的「中央记忆银行」。研究人员面临的第一个任务就是按照下述方式复制神经网络——当大脑处理某个任务时，关闭某些神经元；在大脑处理其他任务时，再将关闭的神经元打开，在此过程中，将神经网络分割成若干模块（segmenting the network into modules）。

第二个启发点则是随着时间的推移，在大脑内部建立连接需要一定成本，比如能量。通过为神经网络连接活动设定「成本」，研究人员迫使神经网络节约用于处理输入的节点，并以此鼓励上述分割设计。由于「成本」很高，

网络也不会变成一团乱的纠缠节点。

第三个原则就是人类、动物心理学中的一个古老原则：奖惩效应——通过奖励鼓励学习。换句话说，通过一定手段对神经网络的节点进行奖惩，鼓励神经网络仅学习那些符合奖励信号要求的输出。

最后，在神经网络学习如何完成两种不同的任务时，研究人员让网络自主地进化与变化，利用前述三种设计原则引导神经网络进化出最终组织形式。

结果，研究人员发现，分割（segmentation）和迫使减少连接的压力，使得神经网络最终进化成一种高度模块化的网络，它能在学习其他技能时，记住之前学到的一切。

这正是迈向能够进化、学习新事物的神经网络的一步，同时也是人工智能能与真实世界与时俱进的关键一步。但是，当神经网络学习如何新事物的时候，可能需要重复十几次这样的学习过程。

让数字大脑学会「记忆」，可不是件容易的事儿。

GPU云服务器云服务器人工智能记忆正在获取网络地址无线网络正在获取网络地址本地连接正在获取网络地址

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/4290.html

深度学习的关键术语

摘要：摘要本文着重介绍了深度学习的一些关键术语，其中包括生物神经元，多层感知器，前馈神经网络和递归神经网络。深度学习最近取得了令人吃惊的成就。人工神经网络机器学习架构最初是由深度学习的脑神经尤其是神经元所启发的。摘要：本文着重介绍了深度学习的一些关键术语，其中包括生物神经元，多层感知器（MLP），前馈神经网络和递归神经网络。对于初学者来说，掌握它们可以防止在学习请教时的尴尬~ 深度学习已...

苏丹 2019-06-26 18:21 评论0 收藏0
深度学习-LeCun、Bengio和Hinton的联合综述（下）

摘要：接上文深度学习和的联合综述上卷积神经网络卷积神经网络被设计用来处理到多维数组数据的，比如一个有个包含了像素值图像组合成的一个具有个颜色通道的彩色图像。近年来，卷积神经网络的一个重大成功应用是人脸识别。三大牛Yann LeCun、Yoshua Bengio和Geoffrey Hinton在深度学习领域的地位无人不知。为纪念人工智能提出60周年，的《Nature》杂志专门开辟了一个人工智能 +...

xorpay 2019-04-25 17:59 评论0 收藏0
它将是你的第二大脑——长文讲述谷歌深度学习的故事

摘要：深度学习现在被视为能够超越那些更加直接的机器学习的关键一步。的加入只是谷歌那一季一系列重大聘任之一。当下谷歌醉心于深度学习，显然是认为这将引发下一代搜索的重大突破。移动计算的出现已经迫使谷歌改变搜索引擎的本质特征。 Geoffrey Hiton说：我需要了解一下你的背景，你有理科学位吗？Hiton站在位于加利福尼亚山景城谷歌园区办公室的一块白板前，2013年他以杰出研究者身份加入这家公司。H...

jackzou 2019-04-25 17:58 评论0 收藏0