SpeeDO —— 并行深度学习系统

baiy 发布于2019-04-25 18:02 / 2554人阅读

摘要：最近，又带起了一波深度学习的热潮。因此需要并行的深度学习系统提高训练速度。各大公司在构建并行深度学习系统上投入了大量的精力，包括谷歌微软腾讯和百度等等。为了提高算法的并行效率，这些系统大部分使用了多机多的方式。

最近，AlphaGo又带起了一波深度学习的热潮。深度学习在很多领域都大幅提高了模型的精度，使得很多以前在实验室中的技术得以运用到日常的生活之中。然而，大多数深度学习网络非常复杂，需要大量的训练样本进行训练，很多网络需要一次训练，同时额外多次的训练来调参数。时间效率上远远无法满足当前的工业需求。因此需要并行的深度学习系统提高训练速度。

各大公司在构建并行深度学习系统上投入了大量的精力，包括谷歌、Facebook、微软、腾讯和百度等等。为了提高算法的并行效率，这些系统大部分使用了多机多GPU的方式。所谓多机，即是大量的机器通过网络连接组成训练集群；多GPU即是集群内部的每台机器上包含多个GPU，通过数据并行（每个GPU训练部分数据）、模型并行（每个GPU训练部分网络）或者两者混合的方式提高加快训练速度。GPU浮点运行效率很高，这导致了并行系统的主要瓶颈在于I/O效率，因此这些系统使用了诸如InfiniBand和RDMA(Remote Direct Memory Access,全称远程直接数据存取，专用于解决网络传输中服务器端数据处理的延迟)等高性能技术, 而这些技术需要昂贵的硬件支持，大大增加了系统构建和维护的成本和难度，导致这些系统很难复制和普及到通用场景。

SpeeDO（Open DEEP learning System的逆序）是一个为通用硬件设计的并行深度学习系统。SpeeDO不需要特殊的I/O硬件，支持CPU/GPU集群，因此可以很方便地在各种云端环境上部署，如AWS、Google GCE、Microsoft Azure等等。

SpeeDO 采用了目前通用的参数服务器（parameter server）架构，依赖一系列基于JVM的开源库，使用Scala语言开发。

SpeeDO 的架构图如下图所示：

流程图如下图所示:

SpeeDO 的主要组件及其功能如下：

Caffe：开源深度学习库，基于C++，支持CPU/GPU。原版不支持多GPU/多机并行。

Akka：JVM上的消息队列库，负责参数服务器和工作节点之间的并发消息处理。

Redis：基于内存的高效并行Key-Value数据库。主要用于在参数服务器和工作节点之间传递训练的模型。这些模型一般比较大（几十至上千MB不等），不适合直接通过Akka进行传输。

Yarn：Hadoop2的资源管理组件，实现在多台机器上一键部署参数服务器和工作节点，实时监控各节点的运行状态，处理异常。

SpeeDO 提供docker镜像（只支持CPU）以方便系统的快速构建和测试，获取镜像：docker pull obdg/speedo:latest，使用方法请参考：https://github.com/openbigdatagroup/speedo。

关于SpeeDO 的更多细节，可以参阅发表在NIPS 2015 Machine Learning Systems Workshop上的论文：http://learningsys.org/papers/LearningSys_2015_paper_13.pdf。

SpeeDO的代码在Github上开源：https://github.com/openbigdatagroup/speedo，并提供了详细的安装脚本和Docker文件。

欢迎加入本站公开兴趣群

商业智能与数据分析群

兴趣范围包括各种让数据产生价值的办法，实际应用案例分享与讨论，分析工具，ETL工具，数据仓库，数据挖掘工具，报表系统等全方位知识

QQ群：81035754

GPU云服务器云服务器并行存储系统 GPU云并行运算系统 GPU并行运算主机系统 GPU 云并行运算系统

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/4359.html

让AI简单且强大：深度学习引擎OneFlow技术实践

摘要：本文内容节选自由主办的第七届，北京一流科技有限公司首席科学家袁进辉老师木分享的让简单且强大深度学习引擎背后的技术实践实录。年创立北京一流科技有限公司，致力于打造分布式深度学习平台的事实工业标准。本文内容节选自由msup主办的第七届TOP100summit，北京一流科技有限公司首席科学家袁进辉（老师木）分享的《让AI简单且强大：深度学习引擎OneFlow背后的技术实践》实录。北京一流...

chenjiang3 2019-06-26 18:55 评论0 收藏0
如何为你的深度学习任务挑选最合适的 GPU?

摘要：年月日，机器之心曾经推出文章为你的深度学习任务挑选最合适从性能到价格的全方位指南。如果你想要学习深度学习，这也具有心理上的重要性。如果你想快速学习深度学习，多个廉价的也很好。目前还没有适合显卡的深度学习库所以，只能选择英伟达了。文章作者 Tim Dettmers 系瑞士卢加诺大学信息学硕士，热衷于开发自己的 GPU 集群和算法来加速深度学习。这篇博文最早版本发布于 2014 年 8 月，之...

taohonghui 2019-04-25 18:10 评论0 收藏0
实现 TensorFlow 多机并行线性加速

摘要：在一个数据分析任务和任务混合的环境中，大数据分析任务也会消耗很多网络带宽如操作，网络延迟会更加严重。本地更新更新更新目前，我们已经复现中的实验结果，实现了多机并行的线性加速。王佐，天数润科深度学习平台负责人，曾担任 Intel亚太研发中心Team Leader，万达人工智能研究院资深研究员，长期从事分布式计算系统研究，在大规模分布式机器学习系统架构、机器学习算法设计和应用方面有深厚积累。在...

时飞 2019-04-25 18:17 评论0 收藏0