深度神经网络：WX+b vs XW+b

rose 发布于2019-07-30 15:16 / 3212人阅读

摘要：作者微信号微信公众号简书地址在大多数的神经网络教科书中，神经网络一般都会使用或者的形式。但是在或者中，神经网络的实现都是采用了的形式。从理论上讲，和在神经网络中是等价的其实就是一个矩阵的转置。然而，当我们计算两者的导数的时候却差别很大。

作者：chen_h
微信号 & QQ：862251340
微信公众号：coderpai
简书地址：https://www.jianshu.com/p/856...

在大多数的神经网络教科书中，神经网络一般都会使用 y = WX+B 或者 y = XW+B 的形式。但是在 tensorflow 或者 theano 中，神经网络的实现都是采用了 y = XW+B 的形式。这是为什么呢？我花了很多的时间去查找资料，最后发现一点，可能是 y = XW+B 计算导数比 y = WX+B 容易。

从理论上讲，XW+B 和 WX+B 在神经网络中是等价的（其实就是一个矩阵的转置）。然而，当我们计算两者的导数的时候却差别很大。我们通过具体的数学推导来感受一下吧。

比如：y = XW

比如：y = WX

原文 matrix cookbook

作者：chen_h
微信号 & QQ：862251340
简书地址：https://www.jianshu.com/p/856...

CoderPai 是一个专注于算法实战的平台，从基础的算法到人工智能算法都有设计。如果你对算法实战感兴趣，请快快关注我们吧。加入AI实战微信群，AI实战QQ群，ACM算法微信群，ACM算法QQ群。长按或者扫描如下二维码，关注 “CoderPai” 微信号（coderpai）

GPU云服务器云服务器 XW 报错vs2013 wx 表单验证vs2013

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/41145.html

TensorFlow2

摘要：让我们观察一下这个例子中的损失函数到底长什么样子。因此，我们可以通过梯度下降的方法求解使得损失函数达到最小值的。机器学习基础线性回归逻辑回归 Softmax分类神经网络线性回归什么是回归？ showImg(https://segmentfault.com/img/bVXGfb?w=765&h=514);通俗地讲：给定X1, X2, ..., Xn，通过模型或算法预测数值...

XFLY 2019-07-30 14:52 评论0 收藏0
人工智能期末笔记

摘要：举例，神经元，感知机，神经网络行为主义智能机器人认为人工智能源于控制论。人工智能的研究领域包括专家系统推荐系统等等。是一种实现人工智能的方法根据某些算法，通过大量数据进行训练和学习，然后对真实世界中的事件做出决策和预测。 1. 绪论四大流派符号主义(知识图谱)原理主要为物理符号系统(即符号操作系统)假设和有限合理性原理用数理逻辑描述智能行为, 在计算机上实现了逻辑演绎系统。 ...

CodeSheep 2019-06-26 18:48 评论0 收藏0
OpenAI Ian Goodfellow的Quora问答：高歌猛进的机器学习人生

摘要：我仍然用了一些时间才从神经科学转向机器学习。当我到了该读博的时候，我很难在的神经科学和的机器学习之间做出选择。 1.你学习机器学习的历程是什么？在学习机器学习时你最喜欢的书是什么？你遇到过什么死胡同吗？我学习机器学习的道路是漫长而曲折的。读高中时，我兴趣广泛，大部分和数学或科学没有太多关系。我用语音字母表编造了我自己的语言，我参加了很多创意写作和文学课程。高中毕业后，我进了大学，尽管我不想去...

nihao 2019-04-25 18:26 评论0 收藏0
Poseidon：高效的分布式深度学习通信架构

摘要：我们提出了，它是一个分布式在上可实现高效通信的架构。利用深度程序中的层级模型结构而叠加通信与计算，这样以减少突发性网络通信。此外，使用混合的通信方案，并根据层级属性和机器数量优化每一层同步所要求的字节数。表神经网络的评估。论文：Poseidon: An Efficient Communication Architecture for Distributed Deep Learning on...

caspar 2019-04-25 18:14 评论0 收藏0