「深度神经网络」（deep neural network）具体是怎样工作的？

X_AirDu 发布于2019-04-25 17:58 / 3151人阅读

摘要：微软研究人员在深度神经网络上取得突破，使其在性能上能赶上目前较先进的语音识别技术。上没写那个，不过我已经不大懂了，顺带链接还有给的微软原文链接以下为两个回答何晓宁多层的好处是可以用较少的参数表示复杂的函数。

微软研究人员在深度神经网络（deep neural network）上取得突破，
使其在性能上能赶上目前较先进的语音识别技术。
http://software.solidot.org/article.pl?sid=11/08/29/0917205&from=rss

我只记得关于@李开复的介绍里面说的很多用概率才能解决，包括语音识别，
那么这一次是什么原理，能深入浅出地讲解吗？求讲课。。

Wiki 上没写那个 deep，不过我已经不大懂了，顺带链接：
http://en.wikipedia.org/wiki/Neural_network
还有 Solidot 给的微软原文链接：
https://research.microsoft.com/en-us/news/features/speechrecognition-082911.aspx

以下为两个回答：

何晓宁：

多层的好处是可以用较少的参数表示复杂的函数。

在监督学习中，以前的多层神经网络的问题是容易陷入局部极值点。如果训练样本足够充分覆盖未来的样本，那么学到的多层权重可以很好的用来预测新的测试样本。但是很多任务难以得到足够多的标记样本，在这种情况下，简单的模型，比如线性回归或者决策树往往能得到比多层神经网络更好的结果（更好的泛化性，更差的训练误差）。
非监督学习中，以往没有有效的方法构造多层网络。多层神经网络的顶层是底层特征的高级表示，比如底层是像素点，上一层的结点可能表示横线，三角；而顶层可能有一个结点表示人脸。一个成功的算法应该能让生成的顶层特征较大化的代表底层的样例。如果对所有层同时训练，时间复杂度会太高；如果每次训练一层，偏差就会逐层传递。这会面临跟上面监督学习中相反的问题，会严重欠拟合。

2006年，hinton提出了在非监督数据上建立多层神经网络的一个有效方法，简单的说，分为两步，一是每次训练一层网络，二是调优使原始表示x向上生成的高级表示r和该高级表示r向下生成的x"尽可能一致。方法是
1，首先逐层构建单层神经元，这样每次都是训练一个单层网络。
2，当所有层训练完后，hinton使用wake-sleep算法进行调优。将除最顶层的其它层间的权重变为双向的，这样最顶层仍然是一个单层神经网络，而其它层则变为了图模型。向上的权重用于”认知“，向下的权重用于”生成“。然后使用Wake-Sleep算法调整所有的权重。让认知和生成达成一致，也就是保证生成的最顶层表示能够尽可能正确的复原底层的结点。比如顶层的一个结点表示人脸，那么所有人脸的图像应该激活这个结点，并且这个结果向下生成的图像应该能够表现为一个大概的人脸图像。Wake-Sleep算法分为醒(wake)和睡(sleep)两个部分。
2.1，wake阶段，认知过程，通过外界的特征和向上的权重（认知权重）产生每一层的抽象表示（结点状态），并且使用梯度下降修改层间的下行权重（生成权重）。也就是“如果现实跟我想像的不一样，改变我的权重使得我想像的东西就是这样的“。
2.2，sleep阶段，生成过程，通过顶层表示（醒时学得的概念）和向下权重，生成底层的状态，同时修改层间向上的权重。也就是“如果梦中的景象不是我脑中的相应概念，改变我的认知权重使得这种景象在我看来就是这个概念“。

由于自动编码器（auto-encoder，即上面说的神经网络。广义上的自动编码器指所有的从低级表示得到高级表示，并能从高级表示生成低级表示的近似的结构，狭义上指的是其中的一种，谷歌的猫脸识别用的）有联想功能，也就是缺失部分输入也能得到正确的编码，所以上面说的算法也可以用于有监督学习，训练时 y做为顶层网络输入的补充，应用时顶层网络生成y"。

匿名用户：

人工神经网络是一个有很悠久历史的结构, 应该是在20世纪五十年代后期就出现了的. 经过了很多年的发展, 依然有超多的局限, 比如训练时间长, 效率地下等等. 在19世纪的晚期, 又渐渐消失了.

直到近几年, 由于Deep Learning的研究出现了比较大的突破, Deep Neural Network应该是伴随着Deep Learning一起出现的一种人工神经网络的重大改良. 其模拟了人脑的一些特性,比如人脑具有一个深度的结构,每深入一层就进行一次抽象, 认知的时候逐层进行, 逐层进行抽象. 这种结构在解决一些复杂的问题的时候有非常明显地突破性表现. 突破了传统的神经网络算法的很多局限, 是当下非常热门的研究领域.
如果楼主感兴趣, 可以自行搜索Deep Learning, 比如 wiki : http://en.wikipedia.org/wiki/Deep_learning
还有一个网站 http://deeplearning.net/tutorials/ 也有不少的内容.

提问者提出的Deep Neural Network, 并非一定指某个特定的结构, 因为深度学习在人工神经网络上的改良有非常多种, 根据各个实际的应用也有不同的改良方法, 可以更多地关注Deep Learning 即可.

挖个坑, 写完期末最后一门企业系统架构的作业, 如果还没有人来回答的话, 我就补充一些关于Deep Learning 的资料. 想看的记得提醒我...

GPU云服务器云服务器 deep-neural-network php具体是做什么的 java后台具体工作 webrtc是怎样应对网络变化的

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/4287.html

深度学习调参入门，有哪些技巧？

摘要：本文将分享一些自己关于深度学习模型调试技巧的总结思考以为主。不过以卷积神经网络为代表的深层神经网络一直被诟病，这对于模型在工业界的应用推广还是带来了一定的阻碍。作者杨军，从事大规模机器学习系统研发及应用相关工作。本文将分享一些自己关于深度学习模型调试技巧的总结思考（以CNN为主）。最近因为一些需要，参与了一些CNN建模调参的工作，出于个人习性，我并不习惯于通过单纯的trial-and-er...

Developer 2019-04-25 18:10 评论0 收藏0
Deep Learning（深度学习）学习笔记整理

摘要：深度学习学习笔记整理系列作者声明该的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。但是自年以来，机器学习领域，取得了突破性的进展。 Deep Learning（深度学习）学习笔记整理系列 zouxy09@qq.com http://blog.csdn.net/zouxy09 作者：Zouxy version 1.0 2013-04-08声明：1）该Deep Lea...

Cheriselalala 2019-04-25 17:57 评论0 收藏0
128篇论文，21大领域，深度学习最值得看的资源全在这了

摘要：对于大多数想上手深度学习的小伙伴来说，我应当从那篇论文开始读起这是一个亘古不变的话题。接下来的论文将带你深入理解深度学习方法深度学习在前沿领域的不同应用。对于大多数想上手深度学习的小伙伴来说，我应当从那篇论文开始读起？这是一个亘古不变的话题。而对那些已经入门的同学来说，了解一下不同方向的论文，也是不时之需。有没有一份完整的深度学习论文导引，让所有人都可以在里面找到想要的内容呢？有！今天就给...

tracymac7 2019-04-25 18:18 评论0 收藏0
《DeepLearning.ai 深度学习笔记》发布，黄海广博士整理

摘要：在这堂课中，学生将可以学习到深度学习的基础，学会构建神经网络，包括和等。课程中也会有很多实操项目，帮助学生更好地应用自己学到的深度学习技术，解决真实世界问题。深度学习入门首推课程就是吴恩达的深度学习专项课程系列的 5 门课。该专项课程最大的特色就是内容全面、通俗易懂并配备了丰富的实战项目。今天，给大家推荐一份关于该专项课程的核心笔记！这份笔记只能用两个字形容：全面！ showImg(...

wenhai.he 2019-06-26 18:56 评论0 收藏0
神经网络和深度学习简史第四部分：深度学习终迎伟大复兴

摘要：主流机器学习社区对神经网络兴趣寡然。对于深度学习的社区形成有着巨大的影响。然而，至少有两个不同的方法对此都很有效应用于卷积神经网络的简单梯度下降适用于信号和图像，以及近期的逐层非监督式学习之后的梯度下降。我们终于来到简史的最后一部分。这一部分，我们会来到故事的尾声并一睹神经网络如何在上世纪九十年代末摆脱颓势并找回自己，也会看到自此以后它获得的惊人先进成果。「试问机器学习领域的任何一人，是什...

Simon_Zhou 2019-04-25 18:01 评论0 收藏0