资讯专栏INFORMATION COLUMN

Sybase与美地森携手打造全球领先的云架构数据仓库平台

desdik / 1604人阅读

摘要:日前,业界领先的企业级和移动软件公司携手国内第一家云计算基础架构与平台服务提供商美地森,共同打造全共享架构与无共享架构完美结合的云存储平台。与美地森云存储软件通过了中创信测的苛刻的功能和稳定性测试,打造了全球领先的云架构数据仓库解决方案。

大数据时代为数据存储带来压力,越来越多的组织需要在云计算的技术基础上搭建起能够存储大量结构化和非结构化数据的存储平台。云存储应“云”而生。

  所谓云存储,是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。而实现适应用户需求的云存储,关键在于选择强大的基于应用与部署需求的数据架构。

  日前,业界领先的企业级和移动软件公司 Sybase 携手国内第一家云计算基础架构与平台服务提供商美地森,共同打造全共享架构与无共享架构完美结合的云存储平台。Sybase IQ与美地森云存储软件通过了中创信测的苛刻的功能和稳定性测试,打造了全球领先的云架构数据仓库解决方案。

  该方案拥有如下优势:
  兼具Shared Nothing(无共享)和Shared Everything(全共享)架构的技术优势;
  兼具列式存储和云计算架构的优势,满足超大数据量应用对基础平台的性能需求;
  采用云计算集群体系架构,拥有卓越的扩展性和高可靠性;
  采用x86架构取代小型机,因此大幅降低系统TCO成本;

  该方案为超大数据量分析平台等数据密集和运算密集的应用提供了全球领先的技术架构,解决了“大数据”分析应用所遇到的技术挑战。该方案成本可控,技术领先,支持结构化和非结构化数据,可广泛服务于金融行业、电信行业、政府行业、广电、能源行业、航空、制造行业、烟草、零售等行业。

 

  Sybase IQ ——支持全共享MPP架构
  目前业界最常用的数据架构便是Shared Nothing(无共享)以及Shared Everything(全共享)。

  Shared Nothing架构中的每一个节点都是独立、自给的,而且整个系统中没有单点竞争。有些系统需要集中保存大量的状态信息——数据库、应用服务器或是其他类似的单点竞争系统。Shared Nothing体系使数据库稳定增长,随着事务数量不断增加,增加额外的CPU和主存就可以保证每个事务处理时间不变。

  伴随着云计算技术的发展,越来越多的企业希望将企业资源虚拟化,实现信息共享,由此带来Shared Everything(全共享)架构的发展。从“客户端”角度来说,Shared Everything架构的核心内容就是把计算发展成为一种公共设施,就像我们日常所使用的水和电一样;从“服务器端”来考虑,Shared Everything是计算资源的虚拟化或者说是计算资源的汇合,并实现信息共享、高可用性和安全性。

  Sybase 在其IQ 15.3产品中引入了基于“大规模并行处理”(MPP)架构的PlexQ分布式查询平台,通过将任务分散到网格配置中的多台计算机,加速了高度复杂查询的速度。与传统无共享MPP架构相比,Sybase IQ 15.3 PlexQ分布式查询平台拥有更出色的并发性、自助式即席查询功能和计算及存储资源的独立扩展性。有了这一架构,PlexQ能够通过简单、灵活的资源配置,将节点合并成统一模块,分配到不同的应用配置中,从而超越服务水平协议(SLA)的要求。

  与传统的无共享(Shared-Nothing)的MPP架构不同,PlexQ采用全共享(Shared-Everything)方法,能够动态地管理和平衡Sybase IQ MPP配置中所有计算节点之间的查询任务负载。PlexQ的自动化工作负载均衡器积极主动地运行,避免用户争抢系统资源,从而为一系列并行工作负载提供可预测的高性能。

 

  Sybase IQ 15.3——重新定义云架构
  基于企业不断变化的存储与分析需求,Sybase IQ使用了独特的列式存储方式,在进行分析查询时,传统的关系型数据库需要缓慢的读取整个表的每一行,这种读取方式通常会阻塞I/O通道、内存和磁盘,而Sybase IQ 仅需读取查询所需的列,其垂直分区策略不仅能够支持大量的用户、大规模数据,还可以提交对商业信息的高速访问,其速度可达到传统的关系型数据库的百倍甚至千倍。同时,在存储大数据方面,Sybase IQ 能够存储海量的复杂数据,与传统数据库相比,其存储能力可多达10倍以上。

  另外,Sybase IQ 所采用的Multiplex技术,充分利用了单个服务器(节点)在执行特定功能时可进行磁盘存储共享并通用的优势。也就是说,存储是共享的、压缩的、列分区存储的,它们通过一条高速的光纤通道与Multiplex架构中的所有服务器节点互联。这些服务器节点既可以作为数据读节点也可以作为写节点(或者两者都是)运行,支持所有连接到共享数据源的并发的数据加载和查询。这一技术使得Sybase IQ 可以在大量的使用场景中游刃有余,比如快速的并行分析和报表,同时支持高速的实时数据加载、批量数据集成任务、即席客户端加载和查询等等(见下图):

Sybase IQ 15.3 PlexQ分布式查询平台解决方案拥有以下优势:
卓越的性能:用户能够利用Sybase IQ PlexQ环境中多个计算资源的优势,同时处理要求最苛刻的查询;
增强的可扩展性:随着用户数据和查询复杂度的增加,系统管理员能够简单、低成本高效地使用任何常见的硬件来扩展Sybase IQ PlexQ节点;
架构灵活性:系统管理员能够快速、简单地将计算资源的子集合并为逻辑实体,以响应不断变化的用户要求。
  (Sybase IQ 15.3 PlexQ分布式查询平台工作原理及优势如下图)

 

美地森浩存云存储产品
  美地森科技是业界领先的云存储、云计算系统提供商,拥有云存储产品浩存、云一体机系统麒云两大产品线,以及针对广电、互联网、电信、教育、政府、IDC在内的众多行业云存储、云计算解决方案。

  浩存是美地森科技自主研发的云存储产品系列,内置了自主研发的YFS云文件系统。通过YFS云文件系统,可将多台普通X86 架构服务器上的本地磁盘管理起来,形成一个大的存储池,实现存储虚拟化。此外,浩存提供了标准的iSCSI主机接口。浩存云存储产品专为需要按需扩容、高可用、注重存储效率和性能的应用而设计,非常适合虚拟化、海量数据存储、OLTP业务、存储资源整合等应用环境,可广泛运用于电信、政府、教育、互联网、金融等行业。

  因其具备“高可靠性”、“易扩展”、“高随机读取性能”、“易于管理”、“自动精简配置提升存储资源利用率”以及“本地化支持与定制”等特点与优势,浩存目前已为湖南卫视金鹰网、VeryCD、安博教育等国内知名企业提供了高品质的存储方案和服务。(软硬件配置如下图)

 

Sybase与美地森实现完全意义的云存储架构
  北京中创信测是国内电信监测领域著名的高科技企业之一,其监测系统由于性能稳定、安全可靠、功能全面丰富、技术先进而获得了国家科技进步二等奖,在IT监测特别是电信信令监测领域具有较高权威。

  2010年,中创信测公司在中国移动No.7 信令监测系统二期建设中便以Sybase IQ 为核心平台,存储和管理海量话单数据,实现了在大数据量实时加载的同时进行统计、分析和查询的系统需求,并节省了大量的硬件存储设备。以Sybase IQ为核心存储平台的No.7信令监测系统已经在中国移动公司上海、新疆、河南等10余省进行了建设,其系统整体性能和可靠性得到了实际验证。

  着眼于Sybase 在数据库管理与分析领域的领导地位,以及在电信领域的成功应用,美地森将旗下自主研发的云存储产品系列浩存与Sybase IQ 15.3 进行结合,并共同通过了北京中创信测科技股份有限公司的联合测试。凭借Sybase IQ 15.3 PlexQ分布式查询平台的MPP共享架构,以及美地森浩存在云存储方面的强大功能,双方携手实现云存储领域的强强联合。

  Sybase IQ 15作为信令系统的数据库,承担对信令系统数据的处理。采用Mutiplex架构和PlexQ的Sybase IQ,实现了对信令系统中大数据的快速查询和高效压缩。在中创信测最近的技术测试中,美地森浩存的作用就是作为Sybase IQ的“阵列”,通过MDS的云存储技术将分散在x86机器上的本地硬盘虚拟为一个统一的大存储,提供对上层软件的数据存储支持。对于Sybase IQ 来说,就是采用多台PC Server取代了Sybase IQ传统上的主机+阵列模式。

  Sybase IQ 的数据处理结果就通过MDS分布式文件系统存储到廉价的PC Server上,并根据需要采取一定的冗余量,保证了数据的有效性和可靠性,从而实现了Shared Everything计算节点和Shared Nothing存储节点的完美结合。另外,通过采用虚拟机、虚拟集市、分布式查询、分布式存储等技术适应了当前云技术的要求,极大的提升了架构的灵活性,资源配置的合理性,方便用户做出选择和调整。

  通过双方产品的优势互补以及双方技术力量的配合,使得该项目在中创信测的测试中取得了极大成功。Sybase IQ 与美地森浩存云存储软件的合作,已经通过了稳定性测试,实验室环境5节点下可以做到2个节点宕机情况下不丢失数据,并且能够在物理资源增加的情况下,实现处理性能的线性递增。

  经过3个月的努力,Sybase IQ与美地森云存储软件的强强联合实现了完全意义的基于X86架构的云架构解决方案,其快速数据加载、海量数据高速查询、群集线性扩展以及对Hadoop的支持为企业打造应对大数据挑战的云存储平台。

 

  关于Sybase
  
Sybase,SAP旗下的公司,是业界领先的企业级和移动软件公司,致力于信息的管理、分析和移动。无论在何种系统、网络和设备上,我们都是全球公认的在数据密集应用领域有杰出的性能表现的领导者。我们的信息管理、分析、移动消息和企业移动解决方案已经为全球的金融服务、通信、制造和政府等的业务关键系统提供强劲动力。

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/3553.html

相关文章

  • 灵雀云与UCloud优刻得达成战略合作

    摘要:月日,灵雀云与优刻得达成战略合作。灵雀云创始人兼左玥灵雀云商务拓展总监费志明,联合创始人兼华琨,合作拓展线负责人蒋剑彪出席签约仪式。年月,成为第一家登陆科创板的云计算上市公司。目前,双方合作推进的容器云等项目都已将陆续落地。 ...

    番茄西红柿 评论0 收藏2637
  • 阿里云携手Commvault构建云生态,推动传统企业数字化到智能化的转型升级

    摘要:阿里云将持续完善产品技术,被生态伙伴集成,与合作伙伴一起定义传统行业的数字化转型标准,从而推动整个社会的数字化转型。对阿里云来说,业务的快速增长离不开良好生态系统的支持,坚定走生态道路是阿里云的生态战略。阿里云将持续完善产品技术,被生态伙伴集成,与合作伙伴一起定义传统行业的数字化转型标准,从而推动整个社会的数字化转型。——阿里云智能存储资深产品总监 Alex Chen作为全球领先的云计算及人...

    Sleepy 评论0 收藏0
  • 下一个互联网十年 云计算或成制胜法宝

    摘要:在互联网的第三个时代,也就是下一个互联网十年里,云计算将成为这场大战的制胜关键所在。就在前不久,亚马逊旗下的云计算服务平台宣布正式在中国商用。的杀入对于中国的云计算市场也是一大不可忽视的力量。  互联网的第一个时代我们定义为PC互联网,互联网的第二个时代我们定义为移动互联网,而互联网的第三个时代我们则定义为万物联网。当前国内的互联网正处于第二个时代向第三个时代过渡期,而云计算则是支撑起万物联...

    Yujiaao 评论0 收藏0
  • 云计算竞争激烈 巨头争相降价抢市场

    摘要:当季,云计算业务继续拓展市场领导地位,付费用户数量同比翻番,推动阿里云营收连续第个季度保持三位数增幅。阿里云一年内降价次随着竞争中越来越多,降价抢市场已成为云计算领域的关键词。多起政务云低价中标事件之所以能够引起业界争议,背后反映出我国政务云服务市场已经进入市场爆发期,政府服务向云计算平台的迁移速度不断加快。云计算已成为我国提升政务管理水平、挖掘经济潜力的重要保障。实际上,除了政务云,当前云...

    xiaowugui666 评论0 收藏0
  • UCloud优刻得与奇安信集团携手战略合作

    摘要:月日,奇安信集团与优刻得签署战略合作。这次与奇安信携手共拓,将结合双方优势,共同促进云原生安全隐私计算零信任框架等解决方案发展,保障数据安全和数据开放。8月13日,奇安信集团与UCloud优刻得签署战略合作。双方将在技术、市场、服务等方面协同合作,为行业数字化提供云服务+安全并重并行的基建底座,打造多领域、多层次的云安全创新生态。奇安信集团副总裁吕韬、解决方案中心总经理罗海龙、互联网合作拓展...

    Tecode 评论0 收藏0

发表评论

0条评论

最新活动
阅读需要支付1元查看
<