摘要：实验基础其实实现该功能的主要步骤还是需要计算出网络的损失函数以及其偏导数，具体的公式可以参考前面的博文八。生成均匀分布的伪随机数。
前言：
现在来进入sparse autoencoder的一个实例练习，参考Ng的网页教程：Exercise:Sparse Autoencoder。 这个例子所要实现的内容大概如下：从给定的很多张自然图片中截取出大小为8*8的小patches图片共10000张，现在需要用sparse autoencoder的方法训练出一个隐含层网络所学习到的特征。该网络共有3层，输入层是64个节点，隐含层是25个节点，输出层当然也是64个节点 了。
实验基础：
其实实现该功能的主要步骤还是需要计算出网络的损失函数以及其偏导数，具体的公式可以参考前面的博文Deep learning：八(Sparse Autoencoder)。下面用简单的语言大概介绍下这个步骤，方便大家理清算法的流程。
1. 计算出网络每个节点的输入值（即程序中的z值）和输出值（即程序中的a值，a是z的sigmoid函数值）。
2. 利用z值和a值计算出网络每个节点的误差值（即程序中的delta值）。
3. 这样可以利用上面计算出的每个节点的a，z，delta来表达出系统的损失函数以及损失函数的偏导数了，当然这些都是一些数学推导，其公式就是前面的博文Deep learning：八(Sparse Autoencoder)了。
其实步骤1是前向进行的，也就是说按照输入层——》隐含层——》输出层的方向进行计算。而步骤2是方向进行的（这也是该算法叫做BP算法的来源），即每个节点的误差值是按照输出层——》隐含层——》输入层方向进行的。
一些malab函数：
bsxfun:
C=bsxfun(fun,A,B)表达的是两个数组A和B间元素的二值操作，fun是函数句柄或者m文件，或者是内嵌的函数。在实际使用过程 中fun有很多选择比如说加，减等，前面需要使用符号’@’.一般情况下A和B需要尺寸大小相同，如果不相同的话，则只能有一个维度不同，同时A和B中在 该维度处必须有一个的维度为1。比如说bsxfun(@minus, A, mean(A))，其中A和mean(A)的大小是不同的，这里的意思需要先将mean(A)扩充到和A大小相同，然后用A的每个元素减去扩充后的 mean(A)对应元素的值。
rand：
生成均匀分布的伪随机数。分布在（0~1）之间
主要语法：rand(m,n)生成m行n列的均匀分布的伪随机数
rand(m,n,"double")生成指定精度的均匀分布的伪随机数，参数还可以是"single"
rand(RandStream,m,n)利用指定的RandStream(我理解为随机种子)生成伪随机数
randn：
生成标准正态分布的伪随机数（均值为0，方差为1）。主要语法：和上面一样
randi：
生成均匀分布的伪随机整数
主要语法：randi（iMax）在闭区间（0，iMax）生成均匀分布的伪随机整数
randi（iMax，m，n）在闭区间（0，iMax）生成mXn型随机矩阵
r = randi([iMin,iMax],m,n)在闭区间（iMin，iMax）生成mXn型随机矩阵
exist:
测试参数是否存在，比如说exist("opt_normalize", "var")表示检测变量opt_normalize是否存在，其中的’var’表示变量的意思。
colormap:
设置当前常见的颜色值表。
floor：
floor(A):取不大于A的较大整数。
ceil:
ceil(A):取不小于A的最小整数。
imagesc:
imagesc和image类似，可以用于显示图像。比如imagesc(array,"EraseMode","none",[-1 1])，这里的意思是将array中的数据线性映射到[-1,1]之间，然后使用当前设置的颜色表进行显示。此时的[-1,1]充满了整个颜色表。背景擦 除模式设置为node，表示不擦除背景。
repmat:
该函数是扩展一个矩阵并把原来矩阵中的数据复制进去。比如说B = repmat(A,m,n)，就是创建一个矩阵B，B中复制了共m*n个A矩阵，因此B矩阵的大小为[size(A,1)*m size(A,2)*m]。
使用函数句柄的作用：
不使用函数句柄的情况下，对函数多次调用，每次都要为该函数进行全面的路径搜索，直接影响计算速度，借助句柄可以完全避免这种时间损耗。也就是直接指定了函数的指针。函数句柄就像一个函数的名字，有点类似于C++程序中的引用。
实验流程：
首先运行主程序train.m中的步骤1，即随机采样出10000个小的patch，并且显示出其中的204个patch图像，图像显示如下所示：
/ 2 页下一页
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/4286.html
摘要：如果你对算法实战感兴趣，请快快关注我们吧。加入实战微信群，实战群，算法微信群，算法群。 作者：chen_h微信号 & QQ：862251340微信公众号：coderpai简书地址：https://www.jianshu.com/p/b5c... 介绍一些人工智能技术的术语，如果你还有术语补充，请访问 Github English Terminology 中文术语 neur...
摘要：有监督学习与无监督学习，分类回归，密度估计聚类，深度学习，，有监督学习和无监督学习给定一组数据，为，。由于不需要事先根据训练数据去聚类器，故属于无监督学习。 Deep Learning是机器学习中一个非常接近AI的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，最近研究了机器学习中一些深度学习的相关知识，本文给出一些很有用的资料和心得。Key Words：有监督学习与无监督学习，分类...
摘要：深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习的概念由等人于年提出。但是自年以来，机器学习领域，取得了突破性的进展。 深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。深度学习是无监督学习的一种。 深度学习的概念源于人工神经网络的研究。含多隐层的多层感知...
摘要：深度学习学习笔记整理系列作者声明该的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。但是自年以来，机器学习领域，取得了突破性的进展。 Deep Learning（深度学习）学习笔记整理系列 zouxy09@qq.com http://blog.csdn.net/zouxy09 作者：Zouxy version 1.0 2013-04-08声明：1）该Deep Lea...
摘要：降噪自编码器认为，设计一个能够恢复原始信号的自编码器未必是最好的，而能够对被污染破坏的原始数据进行编码解码，然后还能恢复真正的原始数据，这样的特征才是好的。该恢复信号尽可能的逼近未被污染的原数据。此时，监督训练的误差函数就从原来的变成了。 作者：chen_h微信号 & QQ：862251340微信公众号：coderpai简书地址：https://www.jianshu.com/p/f7...
阅读 3237·2021-11-24 09:38
阅读 2134·2021-11-23 09:51
阅读 1717·2021-10-13 09:39
阅读 2548·2021-09-23 11:53
阅读 1350·2021-09-02 15:40
阅读 3625·2019-08-30 15:54
阅读 1098·2019-08-30 13:04
阅读 2524·2019-08-30 11:01
