摘要：首先，的概念与卷积的概念大部分是独立的。但是，请注意，这个特征的较精确位置已经被丢弃。结合和，这意味着我们的网络使用的是不同于一般类型的非线性。之间的这就是网络如此与众不同的原因。与普通的层相比，层是完全不同的。
首先，capsule 的概念与卷积的概念大部分是独立的。例如，你可以有一个完全连接的capsule网络。但是，它们确实使用了卷积，而且也被与CNN进行比较。但是，我将在接下来解释中抽象出卷积，因为这会分散我们的核心思想。
因为capsule网络与传统的神经网络相比是如此的不同，以至于很难理解它们之间的差异。在这里我将详细介绍capsule网络的细节，然后总结一下不同之处。
简单描述capsule网络
首先，我们可以看看capsule的动机（从Hinton的谈话中摘出来的）。CNN的过滤器所做的就是检测源图像中是否存在特定的模式/特性。 我们通常希望并行地在源图像的同一个patch上堆叠多个过滤器，这样就可以在同一个patch检测多个特征。
但是，请注意，由于堆叠的过滤器数量的线性因子，这个维度会增加很多。为了减少网络的维度，同时允许使用更多的过滤器，我们可以应用max-pooling，这样就可以得到一个神经元，它在语义上的意思是“这个区域某处有一个特征X。”但是，请注意，这个特征的较精确位置已经被丢弃。在许多层重复这个操作，我们实际上丢失了许多关于特征较精确位置的信息。
另一个稍微切向的动机是：如果一个人被展示一个鼻子，它就可以对眼睛、嘴、耳朵等部位的大约位置进行反向工程，从而预测整个脸部的位置和方向。如果我们看到一个鼻子，并预测了脸部的位置；但是假如看到一个嘴巴，基于它预测的脸部位置就会稍微不同，看起来会很奇怪。如果我们仅仅使用1/0来检测特征(鼻子，嘴巴)的存在，我们可能会被引导去相信这两者在正确位置的组合就可以预测出一张脸。但实际不是这样，我们也需要知道它们的方向。
想法：在检测特性的基础上，我们可以输出额外的2个值，对应该特性被检测到的X和Y位置。但是方向呢？我们需要一种更通用的方式来封装这些信息。一个更好的想法是：我们可以让神经网络学习一种方法来表示这个位置/方向信息本身！这就是capsule网络的由来。
差异
1）标量vs向量的输入和输出
神经元从上一层接收一堆标量，并输出一个标量。一个capsule是从上一层获取一堆向量，并输出一个向量。
如果你仔细阅读了，你可能已经注意到(1)实际上并没有完全改变网络。假设我被允许任意地将前一层的神经元组合在一起，将来自当前层的神经元组合在一起，将它们称为向量，并没有什么区别。这里，我们将输入设为向量，对它应用一个矩阵（matrix），然后做一个加权和。这与简单地将输入激活作为一个巨大的向量，然后再应用一个更大的矩阵相比，没有什么不同。
2）挤压函数
引入挤压函数（squash function）是真正的区别。但现在，仍然是一个任意非线性。你可以想象一个奇怪的网络，它在两个层之间变换，一个变换向量，另一个对这些向量做加权和（这实际上是另一个线性变换！），然后挤压。结合(1)和(2)，这意味着我们的网络使用的是不同于一般类型的非线性。
3）capsule之间的routing
这就是capsule网络如此与众不同的原因。与普通的层相比，capsule层是完全不同的。首先，我们转换输入向量来得到预测向量。然后我们将children capsule分配给parent capsule，它的总预测向量与它自己的预测向量有很大的一致，从而可以对预测向量进行加权和。然后把它拿出来，进行挤压（squash）。
Reddit上的讨论链接：https://www.reddit.com/r/MachineLearning/comments/7bz5x9/d_eli5_capsule_networks_how_are_they_unique_and/
欢迎加入本站公开兴趣群商业智能与数据分析群
兴趣范围包括各种让数据产生价值的办法，实际应用案例分享与讨论，分析工具，ETL工具，数据仓库，数据挖掘工具，报表系统等全方位知识
QQ群：81035754
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/4679.html
摘要：本文试图揭开让人迷惘的云雾，领悟背后的原理和魅力，品尝这一顿盛宴。当然，激活函数本身很简单，比如一个激活的全连接层，用写起来就是可是，如果我想用的反函数来激活呢也就是说，你得给我解出，然后再用它来做激活函数。 由深度学习先驱 Hinton 开源的 Capsule 论文 Dynamic Routing Between Capsules，无疑是去年深度学习界最热点的消息之一。得益于各种媒体的各种...
摘要：近几年以卷积神经网络有什么问题为主题做了多场报道，提出了他的计划。最初提出就成为了人工智能火热的研究方向。展现了和玻尔兹曼分布间惊人的联系其在论文中多次称，其背后的内涵引人遐想。 Hinton 以深度学习之父 和 神经网络先驱 闻名于世，其对深度学习及神经网络的诸多核心算法和结构（包括深度学习这个名称本身，反向传播算法，受限玻尔兹曼机，深度置信网络，对比散度算法，ReLU激活单元，Dropo...
摘要：传统神经网络的问题到目前为止，图像分类问题上较先进的方法是。我们把卡戴珊姐姐旋转出现这个问题的原因，用行话来说是旋转的程度超出了较大池化所带来的旋转不变性的限度。 Capsule Networks，或者说CapsNet，这个名字你应该已经听过好几次了。这是深度学习之父的Geoffrey Hinton近几年一直在探索的领域，被视为突破性的新概念。最近，关于Capsule的论文终于公布了。一篇即...
摘要：在底层的胶囊之后连接了层和层。胶囊效果的讨论在论文最后，作者们对胶囊的表现进行了讨论。他们认为，由于胶囊具有分别处理不同属性的能力，相比于可以提高对图像变换的健壮性，在图像分割中也会有出色的表现。 背景目前的神经网络中，每一层的神经元都做的是类似的事情，比如一个卷积层内的每个神经元都做的是一样的卷积操作。而Hinton坚信，不同的神经元完全可以关注不同的实体或者属性，比如在一开始就有不同的神...
摘要：近几年，深度学习高速发展，出现了大量的新模型与架构，以至于我们无法理清网络类型之间的关系。是由深度学习先驱等人提出的新一代神经网络形式，旨在修正反向传播机制。当多个预测一致时本论文使用动态路由使预测一致，更高级别的将变得活跃。 近几年，深度学习高速发展，出现了大量的新模型与架构，以至于我们无法理清网络类型之间的关系。在这篇文章中，香港科技大学（HKUST）助理教授金成勳总结了深度网络类型之间...
阅读 3666·2021-11-24 10:46
阅读 1666·2021-11-15 11:38
阅读 3709·2021-11-15 11:37
阅读 3382·2021-10-27 14:19
阅读 1902·2021-09-03 10:36
阅读 1962·2021-08-16 11:02
阅读 2959·2019-08-30 15:55
阅读 2224·2019-08-30 15:44
