客户案例

中国移动通信集团公司，注册资本512亿元人民币，资产规模超过万亿元人民币，拥有全球的网络和客户规模，2015年列《财富》杂志世界500强55位，品牌价值位列全球电信品牌前列。
"移动云"（http://ecloud.10086.cn/）隶属于中国移动通信集团公司，是中国移动面向政企、事业单位、开发者等客户推出的基于云计算技术、采用互联网模式、提供基础资源、平台能力、软件应用等服务的业务。移动云是建立在中国移动“大云”的基础上，自主技术研发而成的公有云平台，通过服务器虚拟化、对象存储、网络安全能力自动化、资源动态调度等技术，将计算、存储、网络、安全、大数据、开放云市场等作为服务提供，客户根据其应用的需要可以按需使用、按使用付费。

随着中国移动“大云”公有云平台不断发展，后端存储平台需求非常旺盛。中移（苏州）软件技术有限计划搭建分布式对象存储解决如下问题：

1. 国移动公众服务云四期、五期需要基于Ceph搭建对象存储业务，主要用于移动公众服务云后端对象存储，规模30PB。
2. 需要设计和交付存储系统的交付流程，保证存储项目按时高质量落地，保证存储系统稳定运行运营。
3. 流程包括：架构设计服务、部署服务、验证服务、培训服务、系统交付、诊断工具、运维工具、升级服务、支持服务、扩展服务、产品文档。

基于UMCloud 现有分布式存储解决方案，设计使用Ceph搭建移动大云后端分布式对象存储。
对象存储由智能分布式存储(RADOS)集群、管理平台和驻留在应用服务系统中的程序或代码库组成，如下图所示： 其中智能分布式对象存储集群包含 OSD ，MON 和RGW组件：

1. OSD：OSD 负责处理客户端读写请求。不管是通过哪种方式（对象、文件或者其他通过调用librados接口的API）访问分布式存储集群，数据都转换成对象存储到集群中。一个OSD对应一个存储磁盘。一个集群可根据容量、性能、故障域需要，部署多个OSD 节点。
2. MON：MON负责处理集群管理元数据表。客户端向OSD发送读写请求之前，需要从MON中拿到新的集群表，利用CRUSH算法计算出来数据存储位置后，直接将读写请求发送至对应的OSD。一个存储集群可以只包含1个MON 节点，但是考虑到MON节点失效后集群不可用的情况，实际生产环境中一个存储集群至少部署3个MON节点。
3. RGW：对象存储网关，给用户提供REST API，并且兼容S3和Swift。

北京、广州逻辑拓扑如下： 服务器有管理网、存储网和业务网三套网络，所有网络都做双网卡bond，其中存储万网和业务网共用一对万兆口。管理网用于系统的监控和管理；存储网用于OSD集群节点间的数据传输和心跳；业务网用于客户端对后端存储的访问，以及Monitor组件间以及Monitor对OSD的心跳。

1. 通过UMCloud 分布式对象存储架构实现数据中心级容灾，Ceph可以实现异地数据复制，基于容器对象异步远程复制技术，主节点在对外提供服务时，用户数据在主节点落盘后即向用户回应“写成功”应答，然后实时记录数据变化的相关日志信息。备节点则实时比较主备数据差异，并及时将差异化数据拉回备节点。异步复制技术适用于远距离的容灾方案，对系统性能影响较小。
2. 通过UMCloud 分布式对象存储架构自动化部署和弹性扩容，Ceph分布式存储架构可以实现对象存储自动化部署，通过UMCloud提供的部署工具实现了大规模集群的自动化部署和配置、运维和运营等功能。
3. 通过UMCloud 分布式对象存储架构实现数据可靠性设计故障域/复制域机制，优化存储集群内部复制流量；限定POD的规模，通过组合POD的方式提升存储规模；优化CRUSH MAP，优化数据持久性和可用性；
4. 根据网络拓扑设计故障域和复制域，提高可用性和数据持久性，可以达到15个9的数据可靠性。