摘要：同样以里的模块为例，替换前后的卷积分支复杂度如下中使用与卷积级联替代卷积中提出了卷积的，在确保感受野不变的前提下进一步简化。 在梳理CNN经典模型的过程中，我理解到其实经典模型演进中的很多创新点都与改善模型计算复杂度紧密相关，因此今天就让...
摘要：如今在机器学习中突出的人工神经网络最初是受神经科学的启发。虽然此后神经科学在机器学习继续发挥作用，但许多主要的发展都是以有效优化的数学为基础，而不是神经科学的发现。 开始之前看一张有趣的图 - 大脑遗传地图：Figure 0. The Genetic Geograph...
摘要：首先，的概念与卷积的概念大部分是独立的。但是，请注意，这个特征的较精确位置已经被丢弃。结合和，这意味着我们的网络使用的是不同于一般类型的非线性。之间的这就是网络如此与众不同的原因。与普通的层相比，层是完全不同的。 首先，capsule 的概念...
摘要：等人最近关于胶囊网络的论文在机器学习领域造成相当震撼的影响。它提出了理论上能更好地替代卷积神经网络的方案，是当前计算机视觉领域的技术。而这就是这些胶囊网络运行方式的本质。为了简化，我们将假设一个两层的胶囊网络。产生的结果值将被称为。 G...
摘要：总的来说，是一种采用数据流图，用于数值计算的开源软件库。其中代表传递的数据为张量多维数组，代表使用计算图进行运算。数据流图用结点和边组成的有向图来描述数学运算。 本文非常适合初学者了解如何使用 TensorFlow 构建基本的神经网络，它全面展示...
摘要：传统神经网络的问题到目前为止，图像分类问题上较先进的方法是。我们把卡戴珊姐姐旋转出现这个问题的原因，用行话来说是旋转的程度超出了较大池化所带来的旋转不变性的限度。 Capsule Networks，或者说CapsNet，这个名字你应该已经听过好几次了。这是...
摘要：要理解网络中的单个特征，比如特定位置的某个神经元或者一整个通道，就可以找让这个特征产生很高的值的样本。另一方面，也能看到一些神经元同时对多个没什么关系的概念产生响应。实际操作经验中，我们也认为是一组神经元的组合共同表征了一张图像。 深...
摘要：随着知识在开发者圈子里的扩散，这将会是一个长长的缓慢上升过程，但我预测，年之内，大多数软件工作都不会再涉及编程。 周末，特斯拉AI负责人Andrej Karpathy发文论述软件2.0的概念，他说，神经网络给编程工作带来了根本性的变革。今天，跟他聊过...
摘要：的这项研究，总共生成了篇深度学习论文的和代码，还创建了一个网站，供同行们众包编辑这些代码。来自印度研究院。目前是印度研究院的实习生。 深度学习的论文越来越多了~多到什么程度？Google scholar的数据显示，2016年以来，人工智能领域新增的论文已...
摘要：近几年来，由于其作为机器学习模型的使用已成倍增长，所以移动设备和嵌入式设备也出现了部署需求。使机器学习模型设备能够实现低延迟的推理。设计初衷轻量级允许在具有很小的二进制大小和快速初始化启动的机器学习模型设备上进行推理。 谷歌今天终于发...
摘要：详细信息，可以参见科技评论之前发文微软联合推出标准，号称要解决开发框架碎片化共筑开放生态标准得到华为英特尔等更多厂商支持日前，基础平台部副总在发文宣布，亚马逊将加入开放生态，将对提供支持。 早前，FaceBook 携手微软发布了一个全新的开源项...
摘要：幸运的是，这些正是深度学习所需的计算类型。几乎可以肯定，英伟达是目前执行深度学习任务较好的选择。今年夏天，发布了平台提供深度学习支持。该工具适用于主流深度学习库如和。因为的简洁和强大的软件包扩展体系，它目前是深度学习中最常见的语言。 ...
摘要：后来成，就没有内存错误了，但是代码运行了一晚上都不结束，因此使用猫狗大战图片无法复现效果，这里转发另外一个博客使用复现出的结果，如下图。图当然了，在猫狗大战数据集当中不适合使用，因为一般没有倒过来的动物。 图像深度学习任务中，面对小数...
摘要：本论文将尝试概述卷积网络的架构，并解释包含激活函数损失函数前向传播和反向传播的数学推导。本文试图只考虑带有梯度下降优化的典型卷积神经网络架构的制定。 近日南洋理工大学研究者发布了一篇描述卷积网络数学原理的论文，该论文从数学的角度阐述整...
摘要：很长一段时间以来，我注意到很多自称深度学习专家大咖的人，其实名不副实。大多数公司不知道如何辨别这些所谓的专家，面试官也不懂深度学习，不在乎。所以当这些专家的深度学习解决方案不行时，这些公司就会认为一切只是一场炒作。 进入门槛太低正在毁...
摘要：作者在论文中将这种新的谱归一化方法与其他归一化技术，比如权重归一化，权重削减等，和梯度惩罚等，做了比较，并通过实验表明，在没有批量归一化权重衰减和判别器特征匹配的情况下，谱归一化改善生成的图像质量，效果比权重归一化和梯度惩罚更好。 就...
摘要：在现有深度学习框架下，我们所编写的卷积层往往是一个单行语句，它可以抽象出许多结构细节。本文试图阐述卷积层的一个特定的解剖特征，而这是在大多数文章和相关讨论中被忽略的问题。来自卷积层的输出经常用作后续卷积层的输入。 近来，深度学习的火爆...
摘要：我认为在大多数深度学习中，算法层面上随机梯度的下降是大家所认可的。但目前似乎存在两个问题计算层面纳什平衡达不到可能会退化。 去年我一直在研究如何更好地调整GANs中的不足，但因为之前的研究方向只关注了损失函数，完全忽略了如何寻找极小值问题...
摘要：但年在机器学习的较高级大会上，苹果团队的负责人宣布，公司已经允许自己的研发人员对外公布论文成果。苹果第一篇论文一经投放，便在年月日，斩获较佳论文。这项技术由的和开发，使用了生成对抗网络的机器学习方法。 GANs「对抗生成网络之父」Ian Goodf...
摘要：单层年发表的文章使用了单层解决机器翻译中不同长度的源语言对齐问题。使用的基本思想是目标语言端的词往往只与源语言端部分词相关。其中计算上下文环境与源语言词语的相关得分，是根据语言特性设计的一个对齐模型，感兴趣的朋友可以深入了解一下。 1. ...
摘要：我们对种用于数据科学的开源深度学习库作了排名。于年月发布了第名，已经跻身于深度学习库的上半部分。是最流行的深度学习前端第位是排名较高的非框架库。颇受对数据集使用深度学习的数据科学家的青睐。深度学习库的完整列表来自几个来源。 我们对23种...
摘要：在底层的胶囊之后连接了层和层。胶囊效果的讨论在论文最后，作者们对胶囊的表现进行了讨论。他们认为，由于胶囊具有分别处理不同属性的能力，相比于可以提高对图像变换的健壮性，在图像分割中也会有出色的表现。 背景目前的神经网络中，每一层的神经元...
摘要：可以这样说，库使得创建深度学习模型变得快速且简单。在本教程中，你将了解如何用中更具灵活性的函数式来定义深度学习模型。如何使用函数式定义简单的多层感知器卷积神经网络以及循环神经网络模型。 可以这样说，Keras Python库使得创建深度学习模型变...
Apache MXNet v0.12来了。今天凌晨，亚马逊宣布了MXNet新版本，在这个版本中，MXNet添加了两个重要新特性：支持英伟达Volta GPU，大幅减少用户训练和推理神经网络模型的时间。在存储和计算效率方面支持稀疏张量（Sparse Tensor），让用户通过稀疏矩阵训练模...
摘要：自从年月开源以来，我们做了一些重大改进。现在，让我们再回到这个项目开始的地方，回顾我们的进展过程，并分享我们下一步的方向。 自从2016年2月 TensorFlow Serving 开源以来，我们做了一些重大改进。现在，让我们再回到这个项目开始的地方，回顾我们...
ChatGPT和Sora等AI大模型应用，将AI大模型和算力需求的热度不断带上新的台阶。哪里可以获得...
大模型的训练用4090是不合适的，但推理（inference/serving）用4090不能说合适，...
图示为GPU性能排行榜，我们可以看到所有GPU的原始相关性能图表。同时根据训练、推理能力由高到低做了...
89542767
社区管理员
白马啸西风