采集记录足够多的数据，使工作更加针对化和精准化，这是大数据吗？这不是大数据而只是数据化。

什么是大数据呢？例如洛杉矶警方曾对以往的刑事案件做了统计，通过算法得出了第二天的高概率犯罪地点，然后有针对性的派警察去该处巡逻，从而使得当地的犯罪现象下降20%。这是大数据。

再比如，经济学家都认为股票无法预测，而一位剑桥大学毕业的博士搞了个公司，对有史以来几乎所有的证券交易的数据进行记录，然后通过算法进行分析。

他对什么国家政策、公司业绩、行业走向等等一眼都不看，100%地排除主观意志的，只根据计算结果来进行投资，最后赚了大钱。这是大数据。

大数据的精髓并不在于数据的精准和数量，而在于对内在规律的挖掘和对未来趋势的预测。其思路是：一个结果是有很多原因的，原因作用的强度可能是随机的，我们对其中作用的机理并不清楚。

我们难以找出规律性，但知道规律性就蕴含在结果数据之中，如果我们能建设合适的模型，写出好的算法，就有可能把这个规律性提炼出来，从而能科学地发现真相和预测未来。

今天上午在贵州省大数据中心看到了大数据应用的事例。

金润建设和鹏润达这两家企业分别投标200多次，一次也没中过，依然积极地投。投标是要成本的，这两家公司那里来的动力？

通过大数据的知识挖掘技术，发现了它们总是陪着固定的一家公司一同招标，最后总是那家公司中标。围标、串标、陪标的秘密被大数据挖掘出来了????

数据蕴含着无穷的价值，大数据就是“钻石矿”，但必须善于挖掘。

关于大数据，只需要了解这几点。

第一：什么是大数据

简而言之，大数据是指大数据集，这些数据集经过计算分析可以用于揭示某个方面相关的模式和趋势。数据量不在多，只要足以得出可靠的结论即可。

第二：如何获取大数据

大数据无处不在，随着时间的推移，一个简单的Google搜索就能够找到几乎所有的数据存储库。里面不知道有多少数据可用于访问和分析。我现在这里提供一个可供学习的数据集列表：（https://www.kdnuggets.com/datasets/index.html）

第三：用这些数据做什么

数据采集、数据存储、数据清洗、数据分析、数据可视化

1.数据采集

在发生任何事情之前，需要一些数据。这可以通过多种方式获得，通常通过对公司Web服务的API调用。尤其是我们在工作中遇到的数据很多都是来自系统内的数据，来自数据库的数据来自日志的数据。

数据采集常用的手段有：SQL／Python，其中SQL是数据分析的必备技能，Python是加分项。

2.数据存储

大数据的主要难点在于如何管理数据的存储。这完全取决于负责建立数据存储的预算和个人具备的专业知识，因为大多数需要一些编程知识来实施，一个良好的数据库能让我们直接地存储和查询数据。

3.数据清理

采集来的数据一般是不规整的，字段缺失或者有错误是常有的事情，如果我们不对这些数据进行清洗，分析出的结果就会出现各种异常。在数据清洗这一块就需要用到一些简单的统计学基础。

4.数据挖掘

数据挖掘是发现数据库内的见解的过程。这样做是为了能用掌握的数据提供预测和做出一些正确的决定，这部分往往涉及一些算法，也是最困难的部分。

5.数据分析

一旦收集完所有数据，就需要分析以寻找数据的模式和趋势，发现一些不同寻常的地方，比如异常点或增长点、下降点。

6.数据可视化

也许最重要的是数据的可视化。这是先完成所有工作并输出理想情况下任何人都能理解的可视化的部分。最常使用某种编程语言（如Plot.ly、d3.js）或软件（Tableau）来完成。

第四：就业前景

就根据教育部近日公布的2017年度高校本科专业备案和审批结果显示，新增2311个专业中，“数据科学与大数据技术”、“机器人工程”等专业热度最高。大数据和人工智能一定是未来有美好前景的专业。从谷歌搜索热度看，自2010年左右热度只增不减。

欢迎各位或者各位的孩子们加入数据分析师的队伍！

这里从大数据和AI人工智能关系层面做个简单的分享！

大数据：人工智能背后的基石

大数据是人工智能的基石，目前的深度学习主要是建立在大数据的基础上，即对大数据进行训练，并从中归纳出可以被计算机运用在类似数据上的知识或规律。

简单而言何为大数据？

虽然很多人将其定义为“大数据就是大规模的数据”。

但是，这个说法并不准确！

“大规模”只是指数据的量而言。

数据量大，并不代表着数据一定有可以被深度学习算法利用的价值。

例如：地球绕太阳运转的过程中，每一秒钟记录一次地球相对太阳的运动速度、位置，可以得到大量数据。可如果只有这样的数据，其实并没有太多可以挖掘的价值！

大数据这里我们参阅马丁·希尔伯特的总结，今天我们常说的大数据其实是在2000年后，因为信息交换、信息存储、信息处理三个方面能力的大幅增长而产生的数据：

信息交换：据估算，从1986年到2007年这20年间，地球上每天可以通过既有信息通道交换的信息数量增长了约217倍，这些信息的数字化程度，则从1986年的约20%增长到2007年的约99.9%。在数字化信息爆炸式增长的过程里，每个参与信息交换的节点都可以在短时间内接收并存储大量数据。

信息存储：全球信息存储能力大约每3年翻一番。从1986年到2007年这20年间，全球信息存储能力增加了约120倍，所存储信息的数字化程度也从1986年的约1%增长到2007年的约94%。1986年时，即便用上我们所有的信息载体、存储手段，我们也不过能存储全世界所交换信息的大约1%，而2007年这个数字已经增长到大约16%。信息存储能力的增加为我们利用大数据提供了近乎无限的想象空间。

信息处理：有了海量的信息获取能力和信息存储能力，我们也必须有对这些信息进行整理、加工和分析的能力。谷歌、Facebook等公司在数据量逐渐增大的同时，也相应建立了灵活、强大的分布式数据处理集群。

大数据在应用层面：大数据往往可以取代传统意义上的抽样调查、大数据都可以实时获取、大数据往往混合了来自多个数据源的多维度信息、大数据的价值在于数据分析以及分析基础上的数据挖掘和智能决策。

美国《大西洋月刊》公布的一段A.I.聊天记录截图

延伸阅读：聊天机器人竟自创语言“对话” 脸书将其紧急关停

实际上人工智能的发展，离不开海量数据进行训练，究其根本大数据的循环往复无数次的训练和深度学习才有了人工+智能！

实际上人工智能、大数据、物联网以及云计算，彼此之间皆存在着千丝万缕的“亲缘”关系！！！

大数据是我的主要研究方向之一，同时也在带大数据方向的研究生，所以我来回答一下这个问题。

首先，大数据技术是一系列围绕数据价值化的技术总称，包括数据采集技术、数据存储技术、数据分析技术、数据呈现技术以及数据应用技术等，其中大数据技术与物联网技术、云计算技术、边缘计算技术和人工智能技术有紧密的联系。

按照目前大数据产业链的分布来说，大数据技术是从数据采集技术开始的，目前主要的数据采集渠道包括物联网系统（占比百分之90以上）、Web系统（含App）和传统信息系统，比较常见的数据采集方式就是通常“爬虫”等方式来实现，另外涉及到数据清洗技术，重点在于Sql语言的学习和掌握。

数据分析是目前大数据技术的重点，数据分析技术有两种常见的方式，分别是机器学习方式和统计学方式，不论采用哪种方式都需要具备一定的数学基础和编程基础。以机器学习方式为例，首先要掌握常见的机器学习算法，包括决策树、k-mean、SVM、Apriori、EM、PageRank、kNN、朴素贝叶斯等，接下来需要通过编程语言完成算法实现，目前Python语言在机器学习领域有广泛的使用。

通过Python语言来进行数据分析需要掌握一些比较常见的库，包括Numpy、Scipy、Matplotlib（用于结果呈现）、pandas等。Python语言借助于大量的库能够为数据分析人员节省大量的时间，而且调整起来也比较方便。目前大数据比较常见的落地应用就是数据分析，尤其是结合具体行业的场景大数据分析。

在产业互联网领域，由于企业的数据具有高度的机密性，所以通常对于数据的应用边界有严格的要求，此时就需要采用云计算和边缘计算相结合的数据处理方式，让数据在网络边缘进行处理，把结果返回到云端。

随着大数据技术和5G网络的逐渐落地应用，大数据技术也将被赋予更多的含义，相信未来大数据技术体系会越来越庞大，相关的研究方向也会越来越多。

我从事互联网行业多年，目前也在带计算机专业的研究生，主要的研究方向集中在大数据和人工智能领域，我会陆续写一些关于互联网技术方面的文章，感兴趣的朋友可以关注我，相信一定会有所收获。

如果有互联网方面的问题，或者考研方面的问题，都可以咨询我，谢谢！

最简单和最常用的，淘宝推荐、头条推荐，都是在数据筛查后，汇总用户的喜好进行的针对性推荐，日常中应用非常广泛。说的贴切点就是数据的收集、筛查、检索和应用，通过关键词的筛查，可以对事物的某一特质进行特征展示。

大数据的概念就不用过多介绍，海量的数据、广泛的来源、众多不同结构、快速的采集以及高频的变化等等，大数据从概念上跟数据中台、数据湖泊有密切关系，技术上跟Hadoop、Spark、ElasticSearch、MPP有直接关联。

现在掌握大数据主要政府、互联网厂商，比如：在抗击疫情上大数据发挥很大优势，虽然仍然还有不少有益的算法，大数据是对于疫情预测、预防、监控、研究做出不可忽略的贡献。互联网厂商对大数据的应用更是出神入化，甚至把你想的都能直接推送到手机上。海量数据背后是用户画像、强悍的算力、复杂的算法，以及众多场景预设、不断迭代优化的机器学习。

对于大众而言，个体以及个体的各种行为更多只是采集的数据样本，绝大多数情况下，大数据方便了我们的生活，有些时候也泄露了个体的隐私，国家也在强化这一方面管理。如果升级到更高层面，大数据的使用也关系到国家安全、数据国家主权，近期国家对滴滴的相关举措也是跟大数据安全息息相关。

对于企业而言，自身产生的数据量未必到大数据的量级，但大数据的思维、大数据使用的模式是有必要借鉴的，除了常规的生产/管理/经营数据分析，对于信息挖掘、经营预测、成本预算、发展决策方面都可以有用武之地，来推动企业信息化升级到数据化、智能化阶段。企业的大数据建设应该从数据治理开始，包括主数据管理、数据集成、数据仓库、数据分析、数据场景、数据算法、数据服务等，数通畅联主推的dPaaS数据中台解决方案是公司核心产品：MDM主数据管理平台 + ESB数据总线平台 + DAP数据分析平台的组合技术方案，跟K8S云平台无缝结合，敏捷实现数据治理体系、加速企业数据价值呈现、助力企业数字化转型。

数通畅联专注于企业IT架构、SOA综合集成、数据治理分析领域，感谢您的阅读与关注。

大数据，

又称巨量资料，指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

简而言之，大数据就是数据量非常大、数据种类繁多、无法用常规归类方法应用计算的数据集成。大数据的收集、开发和利用，已经成为了当今社会的潮流之一，人们都认为，对于大数据的分析应用，对于政府和企业的决策是非常积极的，影响也是非常深远的。

大数据的采集、发掘与处理

大数据的采集与发掘与云计算是离不开的，与庞大的服务器空间也是分不开的。而现在的倾向就是租用云计算平台进行大数据的整理运用，简单快捷，还不占地方。

大数据的应用

一切皆可以大数据。

将人们所收集的各种数据分类汇总，最终通过高精尖的平台运算，分析其中的规律所在，就是大数据的应用。如果数据收集得当，任何行业、任何事情都可以运用大数据寻找规律，最终做出最优的小抉择。无论从公司营销、政府决策、高速公路运营、农场管理、来年预算等等，大大小小的事情都可以应用大数据，并且从中获利。

大数据的前景

大数据的前景并不仅仅是某一个行业的前景，一句话以盖之——大数据时代已经来临，并将从根本影响人类的生活。

大数据，在近几年越来越受到人们的关注，尽管大数据概念已经在各个行业中应用逐渐变得广泛起来，但是对于大多数的人来说，大数据概念在他们眼里还是模糊不清的，那么，什么叫大数据 大数据是什么意思？下面就由中国IDC圈专家从大数据基本的定义和通俗举例来为大家讲解什么叫大数据 大数据是什么意思？

简单的来说大数据基本定义是，可以按字面理解就是大量的数据，大数据的关键在于这些大量数据中所包含的信息，可以帮助我们洞察过去甚至预测未来。大数据的意义不仅仅在于大量的数据本身，而在于基于它之上所进行的一系列的分析活动，比如分类汇总、趋势预测、数据挖掘等等，从而产生有价值的信息，帮助我们去洞察过去和预测未来。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。

什么是大数据的4V特点？

例如：网购

Volume(大量)：用户进行网上购物，都能够形成一系列随时更新的数据，数据规模空前庞大，其中隐藏的价值也远远超出大部分人的预期。

Variety（多样）：网上购物可以买很多东西，比如家具用品、数码产品等等。大数据的结构也和网购一样复杂，仅仅以文件类型为例，就有图片、文字、声音、视频等等，还有各种非结构化数据，所以在利用这些资源之前，需要把他们进行分类、处理等。

Value（价值）：网上购物买的商品，有贵的，也有便宜的。比如贵的MacBook 电脑、便宜的毛巾等。在实际应用中，大数据可以用于提升优化企业的管理效率，发现新的商业机会，也能够对事物的发展做出准确的分析、预测等等。

Velocity（高速）：大数据分析要快，这就要求我们要能对整个数据进行快速的扫描、筛选、处理。别人已经在实施，你整理出来就没有任何意义了。

最近“大数据”这个词非常热门，我也来谈谈我对大数据的看法吧。到底什么是大数据呀？大数据这个词为什么这么热门？“大数据”已经渗透到当今每一个行业的领域当中，是生产因素的重要部分。人们对“大数据”的挖掘和运用，将迎来一个全新的社会面貌，给人们的生活带来极大的便利。其实，“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业早有应用，只是因为最近互联网和信息行业的发展才引起人们的关注。

到底什么是“大数据”呢？为了让大家知道“大数据”到底是什么。我先来说说什么是“数据”吧。数据其实并不单单是数字，如果认为数据只是数字的话那就大错特错了，其实数据有很多种，数据也可以是文字、图像、声音等，数据可以用于科学研究、设计、查证等。比较全面的解析是：数据是关于自然、社会现象和科学试验的定量或定性的记录，是科学研究最重要的基础；研究数据就是对数据进行采集、分类、录入、储存、统计分析，统计检验等一系列活动的统称。了解了什么是数据之后，那么“大数据”呢？“大数据”在“数据”前面加个“大”，无非就是庞大的数据，代表强大的数据量、数据流。现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。

大数据的核心内容其实指的是：1）全部数据，大数据时代，所有有关联的数据都会被采集和保留，例如，网络大数据时代，完全记录了你在哪家网络平台贷过款，只要贷过款，大数据就会保留记录等等；2）大数据是大体方向，不是精确的制导，因为大数据之间关联的数据非常多，不需要追求精确，引导大体方向即可。比如你去医院检查身体，大数据就会记录了你的身体状况，如果你过度肥胖，当你吃想吃热量过大的食品时，大数据会根据你的身体状况提醒你，不让你吃热量高的食品，并督促你加强锻炼身体。这就是大数据给出的大体方向；3）是相关关系，而不是因果关系：我们不再热衷于找因果关系，寻找因果关系是人类长久以来的习惯，在大数据时代，我们无须再紧盯事物之间的因果关系，而应该寻找事物之间的相关关系;相关关系也许不能准确地告诉我们某件事情为何会发生，但是它会提醒我们这件事情正在发生。

大数据具有数据量大、类型繁多、价值密度低、速度快、时效高的特征。以后大数据的趋势应该是：1）数据的资源化，大数据成为企业和社会关注的重要战略资源，并已成为大家争相抢夺的新焦点，抢占市场先机。2）与云计算的深度结合，大数据离不开云处理，云处理为大数据提供了弹性可拓展的基础设备，是产生大数据的平台之一，物联网和移动互联网与大数据密不可分。3）科学理论的突破，目前大数据概念还处于初步阶段，随着大数据的快速发展，就像计算机和互联网一样，大数据很有可能是新一轮的技术革命。4）数据科学和数据联盟的成立，大量数据的产生，必然会兴起数据共享平台，形成一条产业链。5）数据泄露泛滥，由于大数据兴起阶段，数据安全工作必然存在缺失，导致大量的数据相互流动的时候，泄露严重。既有的技术架构和路线，已经无法高效处理如此海量的数据，而对于相关组织来说，如果投入巨大采集的信息无法通过及时处理反馈有效信息，那将是得不偿失的。可以说，大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。6）数据生态系统复合化程度加强，大数据的世界是由大量的各种有关联的数据结合在一起，形成一种数据生态系统，随着数据的激烈竞争，数据生态系统复合化程度必然增强。

近几年才提出来“物联网”概念，也是与大数据紧密结合在一起的，物联网与大数据结合在一起，那将是一个全新的时代到来。 ucloud巴巴创办人马云来台演讲中就提到，未来的时代将不是IT时代，而是DT的时代，DT就是Data Technology数据科技，显示大数据对于ucloud巴巴集团来说举足轻重。

由此可见，大数据的到来，会给人们的生活带来颠覆性的改变，人们对大数据的依赖性加强。科技更发达，人们的生活水平更美好。

很高兴能够回答这个问题！

大数据时代已经漫步在我们身边，与我们的生活与工作已经密不可分。我将从大数据的生活与工作应用、大数据对生活与工作的影响两个方面回答这个问题。

大数据的生活与工作应用

大数据，又可以称为海量数据与巨量数据，它有以下几个显著的特性：

• 数据量大

• 速率快

• 数据多样性强

• 价值密度低

• 数据的真实性强

对应在生活与工作中，大数据首先会通过互联网的形式采取与收集我们生活与工作的大量数据，从而我们每个人间接地都是大数据时代的提供者。紧接着由于互联网计算技术与机器学习技术的支撑，计算机会高效地精确地对我们这些产生的数据进行分析，从而为我们进行决策或者推荐。

在这样一个过程中，也许我们产生的数据中有的是没有价值的或者说价值的密度是很低的，所以需要我们采取数据挖掘，与此同时，我们产生的数据的种类是繁多的，包括音频、文字、视频、图片等等，这些都是计算机分析的对象，然而之前，我们对这些数据是无法进行处理的。

大数据对生活与工作的影响

我们的生活习惯或者行为以前都是通过问卷调查的形式被捕捉的，但是这种方式获取的价值是很低的，它们并不能真实的反应我们的偏好或者效用。但现在我们的行为都被记录到互联网中，并以数据的方式保存着，可以说，我们在互联网时代一览无余，这也是大数据时代的隐私安全所考虑的问题。

总的来说，大数据会给以让计算机更懂我们，会给我们提供有效的决策支持与兴趣推荐，会带给我们快乐，但是这种快乐是建立在我们的隐私之上的。

生活中我们必须懂得舍得，那么究竟舍谁得谁了，正如，to be or not to be,it is a question！