摘要：宋体云端运算与内存数据库革命性技术值得关注宋体被点名为革命性技术的第二梯队注预估年发酵者，则包含了两项，分别是云端运算内存数据库系统。宋体云端技术对于大数据处理与分析的重要性，着实无庸置疑。
前两天有人在微博发问，用什么样的方式讲述大数据和云计算才能非专业人士听的更清楚，其实关于大数据的案例有很多，商业智能分析也多次提到过关于数据挖掘的价值和意义，只不过在今天看数据比以前还多而已，大数据并不可怕，可怕的是他的实时分析能力，会让缺点和真相赤裸裸暴露在人们面前，那么当云计算遭遇大数据一股脑向企业涌进的时候，企业能否驾驭呢？
所谓的大数据主要涵盖3V面向，分别是处理时效（Velocity）、数据格式（Variety）与数据量（Volume）；所以大数据并非单一技术，而是众多技术项目的集合体，它们的共同目的，都是在一定时间内处理完大量的结构化、半结构化或非结构化数据。唯有驾驭个中关键技术，方能分析处理大数据，建立商业应用价值。
继续诉说Wal-Mart比父亲更早知道女儿怀孕的故事。2012年初的某一天，美国明尼苏达州有一名父亲，怒气冲冲跑到卖场并质问主管，为何将带有婴儿用品优惠券的广告邮件，寄送给他正在念高中的女儿？此举是否鼓励未成年女生怀孕？
然而后来事实证明，这名父亲的女儿果真怀孕，卖场并非凭空乱洒广告邮件。人们不禁好奇，Wal-Mart何以如此神通广大，竟然能够隔空挖掘真相？答案就在于大数据的实时分析，包括这名女孩搜寻商品的关键词词，以及在社交网站所显露的行为轨迹，其实都已蕴藏丰富价值，足以表明她怀孕的事实，而接下来的时间，她最需要采购哪些商品，答案便呼之欲出。
由此可见，倘若善用巨量资料实时性分析，这些看似枯燥琐碎的资料，立即就能蜕变为饶富价值的资产，造就无穷无尽的商机。它可以帮助精品服饰业者，快速洞察顾客的喜好变化，立即形成较佳的生产销售决策，继而创造源源不断的营收增长动能；它可以帮助投信业者，从Tweets中分析大众的情绪变化，藉以提高股市行情预测的精准度，创造远远优于同业的基金投资报酬率。
也难怪各方都对巨量资料趋之若鹜，譬如美国欧巴马政府即在2012年3月间做成决定，此后将投入高达2亿美元的研究与开发经费，藉以改善巨量资料时代中，所需之开发、搜集、储存、管理、分享与分析工具与技术，以期利用这些技术加速科学及工程上的发现脚步、强化国家安全，并改善相关的教育及学习模式。
大数据到底是个“神马”东西
的确，虽然这些神乎其技的大数据应用，无不让企业心生向往，然而多数IT主管却对于个中技术一半未解，导致影响所属企业商业价值的产出，殊为可惜。
究竟企业如何基于大数据的分析与应用需求，提高其技术整备度？知名研究机构Gartner在其发表的“Hype Cycle for Big Data”当中所呈现的巨量资料优先矩阵（Priority Matrix for Big Data），即已针对众多技术今后的兴衰浮沉，进行大致的预测；如此一来，哪些技术被定位为“革命性（Transformational）”,亟需密切留意，哪些技术处于高度（High）发展的轨道，值得善加运用，而哪些技术大抵维持中度（Moderate）发展格局，未来大起的机会不高，若要为此挹注大量投资，恐需再三思考，企业IT人员心中即有基本的谱图与脉络。
根据Gartner预测，从现在起的两年之内，率先达到革命性等级的技术，便是字段式数据库（Column Store-DBMS），将呈现高度发展者，则为预测分析技术，至于社交媒体监控、Web分析等技术，发展状况持平。如此观之，举凡字段式数据库、预测分析，将会是企业亟需优先布局的标的。
探究字段式数据库之所以抢得头香，其实并不难理解，因为对于数据撷取、保存、使用、分享与分析等用途而言，数据库系统皆堪称是最关键的载体，因此其面对大数据的读写效率、及近实时（Near Real-Time）运算能力的强弱，肯定需要审慎考虑；在此情况下，传统以Row为索引存取基础的数据库，效能显然不彰，无法承担因大数据而衍生的大量工作负载（Work Load），倘若不为此做改变，后头的进阶型分析应用，可说连想都不必再想了。
当然，随着Hadoop大行其道，连带使得诸如BigTable、HBase或Cassandra等Key-Value数据库开始抬头，这些可被统称为“NoSQL”的数据库，不论是Key-Value Database、In-memory Database、Graph Database或Document Database,都有别传统关系数据库结构，似乎都更将贴近大数据的处理需求，既然如此，何不直接采用NoSQL数据库、而非字段式数据库？
事实上，NoSQL另一层意涵为“Not Only SQL”,旨在补现有SQL之不足，而非取代SQL,企业宜先从数据库I/O需求、Schema Free需求、单一数据表的储存需求…等不同面向，彻底检视其于处理大数据的过程中，究竟可能面临哪些难题，而这些难题，哪些是SQL可以解决的、哪些又是SQL所不能解决的，莫要为了追求时髦而时髦；如此看来，字段式数据库被企业所倚赖的空间，确实十分宽广，最起码，它对于数据的读取效能，肯定比NoSQL数据库强大许多。
云端运算与内存数据库 革命性技术值得关注
被Gartner点名为革命性技术的“第二梯队”（注：预估2~5年发酵）者，则包含了两项，分别是云端运算、内存数据库系统（In-Memory DBMS）。
至于同样落在2~5年区间的高度发展技术，项目就相当繁多，包括先进的诈欺侦测暨分析技术、以云端为基础的网格运算、数据科学家、内存分析（In-Memory Analytics）、内存数据网格（In-Memory Data Grids）、政府公开数据（Open Government Data）、预测模型解决方案（Predictive Modeling Solutions）、社交分析（Social Analytics）、社交内容（Social Content），以及文本金分析（Text Analytics）。
云端技术对于大数据处理与分析的重要性，着实无庸置疑。先从私有云角度来看，要想透过不管是MPI或MapReduce进行大数据的分布式计算，都需奠基于计算、储存或网络等资源的灵活调度，值此时刻，若舍弃云端，似乎就唯有斥巨资部署超级计算机一途了。
其次谈到公有云。尽管各行各业都可因大数据分析而获益，但多数应用场域，其实并非无时无刻都需要做分析，使用频率甚至长达每季一次、或每半年一次；在此前提下，企业若仅为了并非实时性的巨量资料分析，因而投注大量人力、物力与时间等成本建构Hadoop环境，投资报酬率似乎不太划算，的确值得商榷。
此时此刻，企业若能以弹性付费的方式，向公有云服务供货商，租赁大数据分析所需之计算资源，且能比照内部On-Premise管理规则进行相关设定，实在称得上是美事一桩。以微软为例，即在Windows Azure公有云端平台上提供Hadoop租用服务，让企业无需投资布建大量服务器及数据库，便可随需推动大数据运算任务，甚至标榜能将 Windows与SQL Server方便管理的特性带到Hadoop环境，便是相当典型的云端Big Data服务。
至于内存数据库，即是将关系数据库、甚至是字段式数据库，整个置于内存之中，这般做法的好处是，以往最让人诟病的磁盘I/O瓶颈，即可声应而破，从而大幅提振效能、缩短数据库作业的响应时间；身处现今凡事讲究超速的时代，企业若能更快获致商业运算结果，也意谓其获得胜利的可能性愈大。
所以大家不难发现，当内存数据库被Gartner预期会在2~5年成为革命性技术的同时，“In-Memory”这个字眼仍在高度发展技术象限中反复出现，包括内存分析、内存数据网格等，也就充分凸显出，“效能”对于大数据处理，实在太过重要，而效能表现的强弱，甚至对于最终商业应用的绩效影响至巨。
另值得一提的，在Gartner点名会在2~5年转为“中度发展”的技术名单中，其间不乏是近来非常热门的项目，譬如MapReduce、NoSQL数据库、数据库SaaS（Database Software as a Service;dbSaaS），此一看似将由热转冷的发展趋势，亦值得企业保持关注。
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/4014.html
摘要：在未来十年，管理数据仓库的服务器的数量将增加倍以便迎合倍的大数据增长。毫无疑问，大数据将挑战企业的存储架构及数据中心基础设施等，也会引发云计算数据仓库数据挖掘商业智能等应用的连锁反应。 大数据正在彻底改变IT世界。那么，什么样的数据谈得上数据呢? 根据IDC的报告，未来十年全球大数据将增加50倍。仅在2011年，我们就将看到1.8ZB(也就是1.8万亿GB)的大数据创建产生。这相当...
摘要：毫无疑问，大数据将挑战企业的存储架构及数据中心基础设施等，也会引发云计算数据仓库数据挖掘商业智能等应用的连锁反应。 大数据正在彻底改变IT世界。那么，什么样的数据谈得上数据呢? 根据IDC的报告，未来十年全球大数据将增加50倍。仅在2011年，我们就将看到1.8ZB(也就是1.8万亿GB)的大数据创建产生。这相当于每位美国人每分钟写3条Tweet，而且还是不停地写2.6976...
摘要：中国的确正在开启新的工业革命。周博洋在演讲中表示，制造业作为国民经济的根基，如何借助云计算物联网人工智能等新技术度过转型爬坡期，让制造业成为托举中国经济的支柱，是云服务商需要肩负的责任。几年前，英国《经济学人》杂志就分析认为，与以纺织机械化为标志的第一次工业革命和以福特汽车流水线生产为标志的第二次工业革命不同，第三次工业革命，应该以数字化制造及新型材料应用为代表。出版过《第三次工业革命》一书...
摘要：所谓大数据及其相关技术在经历了高度重视详细甄别以及吐故纳新之后，实际成果很可能与我们的认知存在较大差异。他们将探讨与大数据相关的各类话题，内容涵盖对抗贩卖人口未来发展方向乃至人工智能前沿技术。 请大家不要再纠结于一块磁盘能保存多少数据或者企业到底会不会采用Hadoop。关于大数据的真正问题在于，企业用户将如何使用Hadoop、我们的系统到底能在智能化道路上走多远、我们又该如何保证这一切都处于...
摘要：宋体宋体心跳的诱惑全民皆云究竟能走多远宋体宋体也正是如此，我们国家对云计算产业的发展投入了大量人力物力。 云计算(Cloud Computing)，正如以往的任何一次新技术革命一样，带给人们的是惊奇、欣喜和潜移默化中不断接受并普及的过程。在人们逐渐认识并认可了云计算的未来发展趋势和巨大前景之后，我们看到，云计算在各个城市和地方犹如雨后春笋般涌现出来。然而，这种在诱人前景下的盲目扩张，势必会给...
阅读 2027·2021-11-15 11:39
阅读 3206·2021-10-09 09:41
阅读 1468·2019-08-30 14:20
阅读 3243·2019-08-30 13:53
阅读 3308·2019-08-29 16:32
阅读 3317·2019-08-29 11:20
阅读 2995·2019-08-26 13:53
阅读 751·2019-08-26 12:18
