Deep Learning 一些标志性的文章

iKcamp 发布于2019-04-25 17:57 / 2875人阅读

摘要：的堆叠起来构成，其中训练较高层的时加入了。作为非线性降维方法在图像和文本降维实验中明显优于传统方法。根据实验提出了对的的一种解释。设计实验验证两种因素的作用。传统算法并不是以较大化为目标的，另有证明算法不对应任何优化目标函数

A Fast Learning Algorithm for Deep Belief Nets (2006)
- 首次提出layerwise greedy pretraining的方法，开创deep learning方向。 layerwise pretraining的Restricted Boltzmann Machine (RBM)堆叠起来构成 Deep Belief Network (DBN)，其中训练较高层的RBM时加入了label。之后对整个DBN进行fine-tuning。在 MNIST数据集上测试没有严重过拟合，得到了比Neural Network (NN)更低的test error。

Reducing the Dimensionality of Data with Neural Networks (2006)
- 提出deep autoencoder，作为数据降维方法发在Science上。Autoencoder是一类通过最小化函数集对训练集数据的重构误差，自适应地编解码训练数据的算法。Deep autoencoder模型用Contrastive Divergence (CD)算法逐层训练重构输入数据的RBM，堆叠在一起fine-tuning最小化重构误差。作为非线性降维方法在图像和文本降维实验中明显优于传统方法。

Learning Deep Architectures for AI (2009)
- Bengio关于deep learning的tutorial，从研究背景到RBM和CD再到数种deep learning算法都有详细介绍。还有丰富的reference。于是也有个缺点就是太长了。

A Practical Guide to Training Restricted Boltzmann Machines (2010)
- 如果想要自己实现deep learning算法，这篇是不得不看的。我曾经试过自己写但是效果很不好，后来看到它才知道算法实现中还有很多重要的细节。对照网上的代码看也能更好地理解代码。

Greedy Layer-Wise Training of Deep Networks (2007)
- 对DBN的一些扩展，比如应用于实值输入等。根据实验提出了对deep learning的performance的一种解释。

Why Does Unsupervised Pre-training Help Deep Learning? (2010)
- 总结了对deep learning的pretraining作用的两种解释：regularization和help optimization。设计实验验证两种因素的作用。

Autoencoders, Unsupervised Learning, and Deep Architectures (2011)
- 从理论角度对不同的Autoencoders作了统一分析的尝试。

On the Quantitative Analysis of Deep Belief Networks (2008)
- 用annealed importance sampling (AIS)给出一种估计RBM的partition function的方法，从而能够估算p(x)以及比较不同的DBN。

Training Restricted Boltzmann Machines using Approximations to the Likelihood Gradient (2008)
- 提出用persistent contrastive divergence (PCD)算法逼近 maximum likelihood estimation的目标，从而可以得到更好的generative model。传统CD算法并不是以较大化 p(x)为目标的，另有paper证明CD算法不对应任何优化目标函数

云服务器 GPU云服务器 deep learning java的一些代码深度学习的一些应用 php实用的一些代码

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/4279.html

Deep Belief Networks资料汇总

摘要：毕设做的是的相关研究，翻过一些资料，在此做个汇总。深度学习的介绍性文章，可做入门材料。可以当作深度学习的学习材料。一份训练的较佳实践。阐述了非监督预训练的作用。这篇博客给出的材料更加全面，作者来自复旦大学，现似乎是在北京研究院工作。毕设做的是DBNs的相关研究，翻过一些资料，在此做个汇总。可以通过谷歌学术搜索来下载这些论文。 Arel, I., Rose,...

WilsonLiu95 2019-04-25 17:58 评论0 收藏0
关于深度学习(deep learning)

摘要：在每一层学习到的结果表示作为下一层的输入用监督训练来调整所有层加上一个或者更多的用于产生预测的附加层当前，国外在这方面的研究就是三分天下的局面，的与微软合作，的和合作，以及的计算机科学家和。深度学习的入门材料。转载自：http://doctorimage.cn/2013/01/04/%e5%85%b3%e4%ba%8e%e6%b7%b1%e5%ba%a6%e5%ad%a6%e4%b9%a0...

ZweiZhao 2019-04-25 17:58 评论0 收藏0
神经网络和深度学习简史第四部分：深度学习终迎伟大复兴

摘要：主流机器学习社区对神经网络兴趣寡然。对于深度学习的社区形成有着巨大的影响。然而，至少有两个不同的方法对此都很有效应用于卷积神经网络的简单梯度下降适用于信号和图像，以及近期的逐层非监督式学习之后的梯度下降。我们终于来到简史的最后一部分。这一部分，我们会来到故事的尾声并一睹神经网络如何在上世纪九十年代末摆脱颓势并找回自己，也会看到自此以后它获得的惊人先进成果。「试问机器学习领域的任何一人，是什...

Simon_Zhou 2019-04-25 18:01 评论0 收藏0
机器学习——深度学习(Deep Learning)

摘要：有监督学习与无监督学习，分类回归，密度估计聚类，深度学习，，有监督学习和无监督学习给定一组数据，为，。由于不需要事先根据训练数据去聚类器，故属于无监督学习。 Deep Learning是机器学习中一个非常接近AI的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，最近研究了机器学习中一些深度学习的相关知识，本文给出一些很有用的资料和心得。Key Words：有监督学习与无监督学习，分类...

Guakin_Huang 2019-04-25 17:57 评论0 收藏0
Deep learning的一些教程

摘要：还有一些以后补充。十分推荐更多的教程斯坦福的公开课教学语言是。加盟百度前，余凯博士在美国研究院担任部门主管，领导团队在机器学习图像识别多媒体检索视频监控，以及数据挖掘和人机交互等方面的产品技术研发。转载自http://baojie.org/blog/2013/01/27/deep-learning-tutorials/ Stanford Deep Learning wiki: htt...

SimpleTriangle 2019-04-25 17:58 评论0 收藏0