资讯专栏INFORMATION COLUMN

大数据拥抱云计算:让数据升华为智慧

HitenDev / 1395人阅读

摘要:而云计算服务商也会部署大数据放到它的平台上,作为一个非常重要的通用应用。所以说,云计算需要大数据,大数据需要云计算,两个技术就这样结合了。

数据怎么样才能对人有用?人们整天都在讨论大数据,其实数据本身并不是有用的,必须要经过一定的处理。例如你每天跑步带个手环收集的也是数据,网上这么多网站也是数据,简称为Data,数据本身并没有什么作用,但是数据里面包含一些很重要的东西,叫做信息(Information),数据杂乱无章,只有经过了梳理和清洗,才能够称为信息。信息里面包含了很多规律,我们需要从众多信息中将规律总结出来,才能称为知识,知识才能改变命运。

信息是很多的,但是很多人看到了信息相当于白看,但是有人就能从信息中看到了电商的未来,有人看到了直播的未来,所以人家就牛了,如果没有从信息中提取出知识,天天只知道刷朋友圈,也只能在如今互联网滚滚大潮中做个看客。有了知识,然后利用这些知识去应用于实践,有的人就会做得非常好,这个东西叫做智慧Intelligence。有知识并不一定有智慧,很多学者很有知识,已经发生的事情可以从各个角度分析的头头是道,但一到实践就歇菜,并不能转化成为真正的智慧。而很多的创业家之所以伟大,就是通过获得的知识应用于实践,最后做成了很大的生意。

1.   数据如何升华为智慧

数据的处理分五个步骤,全部完成了才最后才会升华智慧。

第一个步骤:数据的收集。首先得有数据,数据的收集有两个方式,第一个方式是拿(Pull),专业点的叫爬取或者抓取,常见的搜索引擎就是这么干的,它把网上的信息都下载到它的数据中心,然后被你搜索出来。 比如你去搜索的时候,返回的是一个列表,这个列表为什么会在搜索引擎的公司里面呢,就是因为他把这个数据都爬下来了,但是你一点链接,点出来这个网站就不在搜索引擎它们公司了。比如说搜狐有个新闻,你拿百度搜出来,你不点的时候,那一页在百度数据中心,一点出来的网页就跳转到搜狐的数据中心了。另外一个方式就是推送,有很多终端可以帮我收集数据,比如说智能手环,可以将你每天跑步的数据,血压的数据,心跳的数据都上传到数据中心里面。

第二个步骤是数据的传输。常见的会通过队列方式进行,数据量实在是太大了,数据必须经过处理才会有用,但是系统处理不过来,只好排排队,一条条地处理。

第三个步骤是数据的存储。现在数据就是Money,掌握了数据就相当于掌握了金钱。要不然你看购物网站怎么知道你想买什么呢?就是因为它有你历史的交易信息,然后通过这个信息分析出你的购物习惯。

第四个步骤是数据的处理和分析。上面存储的数据是原始数据,原始数据多是杂乱的,还有很多垃圾数据,因而需要清洗和过滤。对于整理过的数据,就可以进行分析,从而对数据进行归类,或者发现数据之间的相互关系。比如著名的啤酒和纸尿布的故事,就是通过对人们的购买数据进行比对分析,发现了男人在买尿布的时候,会同时想要购买啤酒,这样就发现了啤酒和尿布之间的对应关系,掌握了规律,然后应用到实践中,将啤酒和尿布的柜台放到一起,这就是一种智慧。

第五个步骤就是对于数据的检索和挖掘。检索就是搜索,俗话说外事不决问谷歌,内事不决问百度。两大搜索引擎都是将分析归纳后的数据放入搜索引擎,从而方便人们找到想要的信息。还有一个就是挖掘,搜索出来的信息还需要从中挖掘出相互的关系。例如财经检索,当搜索某个公司股票的时候,该公司的管理层是不是也应该被挖掘出来?如果仅仅搜索出这个公司的股票涨的特别好,你就去买了,结果第二天就跌了,这不坑人么?所以通过各种算法挖掘数据中的关系,形成知识数据库,十分重要

2.   大数据拥抱云计算

数据分析是一项很有意思的技术,其功能就是帮我们梳理数据,存储信息,并从信息中总结规律。当数据量很小的时候,几台机器就能分析并解决问题。但是,慢慢的当数据量越来越大,大到最强的超级计算机都解决不了问题的时候,该怎么办呢?这时就要聚合多台机器的力量,也就是使用云计算的力量。

对于数据的收集,以物联网为例,外面部署这成千上亿的检测设备,将大量的温度,湿度,PH值,PM2.5等等数据统统收集上来,对于网页的搜索引擎来讲,需要将整个互联网所有的网页都下载下来,这显然一台服务器做不到,需要多台服务器组成分布式系统,每台机器下载一部分,同时工作,才能在有限的时间内,将海量的网页下载完毕。

对于数据的传输,一个内存里面的队列肯定会被大量的数据挤爆,于是就产生了基于存储系统的分布式队列,这样的队列可以多台服务器同时传输,随你数据量多大,只要我的队伍足够多,队列足够粗,就能够撑得住。

对于数据的存储也是一样,一台服务器的文件系统肯定是放不下了,那我们就做一个很大的分布式文件系统来做这件事情,把多台机器的硬盘打成一块大的文件系统。

再比如数据的分析,可能需要对大量的数据做分类,统计,聚合,一台服务器肯定搞不定,处理几百年也分析不完,于是就有了分布式计算的方法,将大量的数据分成小份,每台服务器处理一小份,多台服务器并行处理,很快就能算完。例如著名的Terasort对1个TB的数据排序,相当于1024G,如果单机处理,怎么也要几个小时,但是并行处理只需要几十秒就完成了。

所以说大数据平台,什么叫做大数据,说白了就是一台机器干不完,大家一起干。随着数据量越来越大,很多公司都需要处理相当多的数据,没有这么多机器可怎么办呢?

说到这里,就想起云计算的好处了吧,真的是想什么时候要,就什么时候要,想要多少就要多少。例如大数据分析企业的财务情况,可能一个月分析一次,如果要把这一百台服务器或者一千台服务器都在那摆着,一个月用一次吧,非常浪费。那能不能需要计算的时候,把这一千台服务器拿出来用,然后不用的时候,这一千台机器可以去干别的事情。谁能做这个事儿呢?只有云计算服务商(比如文中提到的易迈云),能够为大数据的运算提供资源层面的灵活性。而云计算服务商也会部署大数据放到它的PaaS平台上,作为一个非常重要的通用应用。因为大数据平台能够使得多台机器一起干一个事儿,这个东西不是一般人或团队能开发出来的,怎么也得雇个几十上百号专业人才能把这个玩起来,所以说就像数据库一样,其实还是需要有一帮专业的人来玩这个东西。现在公有云服务商(像易迈云)就提出了相应的大数据解决方案了,一个小公司需要大数据平台的时候,不需要采购一千台云主机,只要到易迈云的官网上一点,这一千台机器都出来了,并且上面已经部署好了的大数据平台,只要把数据放进去算就可以了。

所以说,云计算需要大数据,大数据需要云计算,两个技术就这样结合了。

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/5427.html

相关文章

  • 选择华为更可靠!华为+AI首次亮相中国高速公路信息化研讨会

    摘要:年月日,由中国公路学会主办的第届中国高速公路信息化研讨会在厦门举办,华为云首次亮相大会,全方位展示了华为云的领先技术以及与生态伙伴联合打造的智慧高速公路解决方案。2019年3月28日,由中国公路学会主办的第21届中国高速公路信息化研讨会在厦门举办,华为云+AI首次亮相大会,全方位展示了华为云+AI的领先技术以及与生态伙伴联合打造的智慧高速公路解决方案。从交通大国迈向交通强国,数字化转型成为交...

    CHENGKANG 评论0 收藏0
  • 华为终端服务的“架桥哲学”

    摘要:但在国内的新品发布会上,华为同时也把不少篇幅留给了终端云服务。华为终端云服务的架桥不只是在华为和用户之间,而是连接其华为用户和开发者,打造开放共赢的生态系统。曾经有人提到这样一个观点:商业模式本质上只有两种,一种是修路—架桥—收费,另一种是来料—加工—卖出。前者是画一条线(平台),后者在做一个点。尽管这样的比喻多少有点简单粗暴,但这两种不同的商业模式却确确实实已在智能手机市场先后上演。早期的...

    sf_wangchong 评论0 收藏0
  • 华为轮值董事长徐直军:加速智能,共创未来

    摘要:华为副董事长轮值董事长徐直军发表了题为加速智能,共创未来的演讲,他呼吁中国政府和企业抓住人工智能带来变道的战略机遇,构建面向未来的竞争力。 智能网联、于斯为盛,2019互联网岳麓峰会于4月1日在湖南长沙开幕。华为副董事长、轮值董事长徐直军发表了题为《加速智能,共创未来》的演讲,他呼吁中国政府和企业抓住人工智能带来变道的战略机遇,构建面向未来的竞争力。华为轮值董事长徐直军:加速智能,共创...

    longmon 评论0 收藏0
  • 人工智能融入“”端:人工智能是火箭,计算是引擎

    摘要:去年月,华为与白云区签署云计算产业战略合作协议,将协同打造千亿元级新一代信息产业集群。融入智慧大脑人工智能是火箭云计算是引擎业内,大家将人工智能大数据以及云计算称为铁三角关系。吴维刚表示,人工智能与云计算,两者不是同一事物,但是相互发展。近年来,随着互联网和移动互联网的蓬勃发展,大数据、云计算、人工智能、物联网等新技术也迎来了广阔的发展空间。去年,阿里云工业互联网全国总部正式在广州揭牌成立,...

    骞讳护 评论0 收藏0
  • 人工智能融入“”端

    摘要:去年月,阿里云宣布将设立阿里云广东研发中心,招募名云计算和人工智能工程师,推动前沿技术与广东产业融合。吴维刚表示,人工智能与云计算,两者不是同一事物,但是相互发展。近年来,随着互联网和移动互联网的蓬勃发展,大数据、云计算、人工智能、物联网等新技术也迎来了广阔的发展空间。去年,阿里云工业互联网全国总部正式在广州揭牌成立,阿里云将联合广东本地合作伙伴,共同打造服务全国的工业大脑。去年9月,华为与...

    yacheng 评论0 收藏0

发表评论

0条评论

HitenDev

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<