摘要:云计算是一种新型的业务交付模式,同时也是新型的基础设施管理方法。云计算催生了一些优秀的分布式文件系统和云存储服务。这两种可伸缩的分布式文件系统利用容错和故障恢复机制,有效地克服了单节点故障导致的系统故障,实现了大规模海量级的文件存储。
云计算是一种新型的业务交付模式,同时也是新型的IT基础设施管理方法。通过新型的业务交付模式,用户将通过网络充分利用优化的硬件、软件和网络资源,并以此为基础提供创新的业务服务。新型的IT基础设施管理方法让IT部门可以把海量资源作为一个统一的大资源进行管理,支持IT部门在大量增加资源的同时无需显著增加相应的人员进行维护管理,云计算的相关技术如下:
虚拟化
虚拟化可大幅度提高组织过程中资源和应用程序的效率和可用性。虚拟化把物理资源和最终呈现给用户的资源进行了分离,实际上是一个替代过程,在具有统一良好架构设计的物理资源上创建出多个替代资源(即虚拟资源),替代资源和物理资源具有相同的接口和功能,对用户来说虚拟资源具备与物理资源相同的使用功能,同时还可以有不同的属性,如价格、容量、可调整性等。
自动化部署
云计算的一个核心思想是通过自动化的方式尽可能地简化任务,使得用户可以通过自助服务方式快捷地获取所需的资源和能力。部署是基础设施管理中十分重要,也是需要花费很大工作量的一部分,包括操作系统、中间件和应用等不同层次的部署。自动化部署可提供简化流程,用户提出申请后由自动化部署平台根据调度和预约自动完成相应的部署,因此用户只需花十几分钟,甚至几分钟就可以得到一个完整的环境,极大地提高了工作效率。
应用规模扩展
云计算提供了一个巨大的资源池,而应用的使用又有不同的负载周期,根据负载对应用的资源进行动态伸缩可以显著提高资源的有效利用率,即高负载时动态扩展资源,低负载时释放多余的资源,这就是应用规模扩展技术所解决的问题。该技术以应用为基本单位,为不同的应用架构设定不同的集群类型,每一种集群类型都有特定的扩展方式,然后通过监控负载的动态变化,自动为应用集群增加或者减少资源。
分布式文件系统
分布式存储的目标是利用云环境中多台服务器的存储资源来满足单台服务器所不能满足的存储需求。其特征是,存储资源能够被抽象表示和统一管理,并且能够保证数据读写与操作的安全性、可靠性等各方面的要求。
云计算催生了一些优秀的分布式文件系统和云存储服务。最典型的云平台分布式文件系统是Googie的GFS和开源的Hadoop。这两种可伸缩的分布式文件系统利用容错和故障恢复机制,有效地克服了单节点故障导致的系统故障,实现了大规模海量级的文件存储。以Hadoop文件系统为例,Hadoop文件系统(HDFS)是一个运行在普通硬件之上的分布式文件系统,它和现有的分布式文件系统有着很多相似性。然而,与其他分布式文件系统的区别也是很明显的:HDFS是高容错性的。可以部署在低成本的硬件上,HDFS高吞吐量地对应用程序进行数据访问,它适合大数据集的应用程序,HDFS放开一些POSIX的需求去实现流式地访问文件数据。
分布式数据库与非结构化数据存储
在分布式文件系统上。典型的存储海量结构化数据的分布式存储系统包括Google的BigTable、开源的HBase等。这些系统可将非结构化数据(如网页等)存储为分布式的、多维的、有序的图。HBase是Apache的Hadoop项目的子项目,是一个分布式的、面向列的开源数据库,不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库,并且采用的是基于列的而不是基于行的模式。其用户存储数据行在一个表里,一个数据行拥有一个可选择的键和任意数量的列;表是疏松存储的,因此用户可以给行定义各种不同的列。HBase主要用于需要随机访问,实时读写大数据。
分布式计算
基于云平台的最典型的分布式计算模式是Map Reduce编程模型。Map Reduce将大型任务分成很多细粒度的子任务,这些子任务分布式在多个计算节点上进行调度和计算,从而在云平台上获得对海量数据的处理能力。“Map(映射)”和“Reduce(化简)”的主要思想都是从函数式编程语言里借来的:当前的软件实现是指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值对,指定并发的Reduce(化简)函数,用来保证所有映射的键值对中的每一个共享相同的键组。
简单说来,一个映射函数就是对一些独立元素组成概念列表的每一个元素进行指定的操作。事实上,每个元素都是被独立操作的,而原始列表没有被更改,因为这里创建了一个新的列表来保存新的答案。也就是说,Map操作是可以高度并行的,这对高性能要求的应用以及并行计算领域的需求非常有用。Reduce操作指的是对一个列表的元素进行适当的合并。虽然它不如映射函数那么并行,但是因为化简总是有一个简单的答案,大规模的运算相对独立,所以化简函数在高度并行环境下也很有用。
文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。
转载请注明本文地址:https://www.ucloud.cn/yun/5287.html
摘要:云计算发展,蔚然成风,经济效益看似可期。指引与守则委员会成员表示云计算为企业带来独特机遇。这些云计算原则将让企业体验云计算所提供的价值,并有助确保企业内部及外部用户均能信赖云端方案。 云计算发展,蔚然成风,经济效益看似可期。然而,大部分企业可能忽视了信息科技的决策权从科技专才手上转移至企业团队领导时所带来的危机,当云计算策略偏离企业内部提供的信息科技服务,或是传统外判工程,潜在压力点往往开始...
摘要:本篇白皮书的目标是描述企业云计算中存储必备的个要素。虽然,云存储服务提供商在考虑成本的同时继续增加可用性,但是目前市场上的服务级别协议不能满足企业关键应用的需求。内部企业方案和企业云存储的主要差别在于,主数据保护在方案中是如何绑定的。在最近对云计算的所有关注中,存储更多地被视为基础平台。时至今日,许多云计算提供的仅仅局限于CPU内核的集合,定量的内存分配,低转速存储,或者还有一些面向互联网的...
摘要:高利用率一体化低功耗自动化管理成为云计算数据中心建设的关注点,整合绿色节能成为云计算数据中心构建技术的发展特点。隐私权保护问题虽是云计算普及过程中需要解决的一大难题,但随着云计算的发展及相关标准的成熟。 1、数据中心向整合化和绿色节能方向发展目前传统数据中心的建设正面临异构网络、静态资源、管理复杂、能耗高等方面问题,云计算数据中心与传统数据中心有所不同,它既要解决如何在短时间内快速、高效完成...
摘要:六大加速器推进增长与美国等成熟市场相比,国内云计算市场在年增速已经高于全球平均水平,但是由于起步较晚,累计体量仍处于比较初级的阶段。目前,国内公有云的市场规模仅相当于美国年整体市场规模的左右。 伴随着宽带市场引入民资、三大运营商换帅、提速降费、流量不清零、电信联通网络终端共建共享等重大事件,通信业2015年悄然走过,2016年产业大幕已经拉开。 在2015年,云计算更多触及社会的各个方面...
摘要:云计算是以数据为中心的一种数据密集型的超级计算。云计算的数据存储系统主要有和开发团队的开源系统。云计算采用编程模式,将任务自动分成多个子任务,通过和两部实现任务在大规模计算节点中的调度与分配。云计算是以数据为中心的一种数据密集型的超级计算。在数据存储、数据管理、编程模式、并发控制、系统管理等方面具有自身独特的技术。海量分布式存储技术为保证高可用、高可靠和经济性,云计算采用分布式存储的方式来存...
阅读 2101·2023-05-11 16:55
阅读 3503·2021-08-10 09:43
阅读 2617·2019-08-30 15:44
阅读 2439·2019-08-29 16:39
阅读 582·2019-08-29 13:46
阅读 2004·2019-08-29 13:29
阅读 920·2019-08-29 13:05
阅读 690·2019-08-26 13:51