回答:首先明确下定义：计算时间是指计算机实际执行的时间，不是人等待的时间，因为等待时间依赖于有多少资源可以调度。首先我们不考虑资源问题，讨论时间的预估。执行时间依赖于执行引擎是 Spark 还是 MapReduce。Spark 任务Spark 任务的总执行时间可以看 Spark UI，以下图为例Spark 任务是分多个 Physical Stage 执行的，每个stage下有很多个task，task 的...
silenceboy
|
1060人阅读
回答:近年来，大数据非常火，人人都谈大数据。但也有人认为，大数据是华而不实，没有什么实际意义。那么大数据究竟是什么？大数据能为我们带来什么呢？我们一起来看一看。大数据是什么？对于很多人来说，当第一次听到大数据这个词的时候，就会自然而然地从字面上去理解：大数据就是大量的数据，大数据技术就是大量数据的存储和处理技术。然而，事实并非如此，大数据比我们一般的想象更为复杂。大数据技术不只是一项数据处理和存储的技术...
Julylovin
|
615人阅读
回答:这是一个非常好的问题，作为一名IT从业者，同时也在带大数据方向的研究生，所以我来回答一下这个问题。首先，从技术体系结构上来看，当前的大数据技术已经趋于成熟了，在数据存储、数据分析、数据呈现和数据应用等方面，已经形成了一整套技术框架，相关的技术生态也在不断完善当中。当前大型科技公司也开始逐渐形成自己的大数据平台，不同平台也都有自身的技术特点，总的来说，当前在技术上已经为大数据的行业应用创新奠定了基础...
alexnevsky
|
1135人阅读
回答:数据已被国家层面定义为共创共享、可分配的生产要素，这必将极大的助力大数据在2020年的发展。这里，简单说几点来年的发展趋势：1.脱敏流通可分配即可流通，但是一定是合规、合法的。怎样才能合规、合法？这得依靠一些底层的公允脱敏技术，不具体指向某个具体用户，不可复原数据信息……有哪些就不说了。2.融合交互经过公允的底层技术转换之后，数据就有了合法合规流通的基本前提，这个前提一旦具备，跨企业、平台之间的数...
xingqiba
|
1144人阅读
回答:这个太范化了吧。大数据架构选择的方案就有很多，海量数据的即席查询本省就是业内目前的痛点，暂时没有太好的解决方案，kylin等框架也只是一个折中方案，如果你不是要求海量数据分析的秒级响应的话sparkSql、presto等都是不错的方案，分钟级别可以返回。
Paul_King
|
678人阅读
回答:大数据简单说就是现实世界数据化！而大数据对于个人的意义就是：个人与信息的强结合，个人自带可信的信息。就拿健康码来说，为什么绿码就能放行？为什么各个检查口看到绿码就放行？因为绿码 是携带了个人安全的健康信息，表示这个人是低风险的。换句话说，健康码是个人信息的一部分，而且是可信的。健康码的存在，是基于大数据的。我们人会休息，但是手机不会休息，于是我们的位置信息随时随地被记录下来，形成一个个人的行动路径...
Karuru
|
1047人阅读
...成指导和协作的状态？ 如何能够通过产品、系统使用和数据分析，更好地指导应用和业务？ 如何优化做设计和开发？ 从人肉运维、人肉测试到自动化的路如何走得更顺利？ 本专场的20个案例将给你答案。 精选案例 《无人测试...
...应用，支持淮安成为全国智慧医疗的典范。 百度大数据分析疾病分布情况。百度公司结合大数据整合和大数据分析等技术推出了在线的疾病预测功能，这项技术通过对用户的搜索和位置数据进行统计和分析，从而得出...
...014年加入百度，先后带团队建设为百度地图6大Place场景做数据分析，后专注于百度外卖大数据生态从0开始孵化并最终完善。自主研发涉及到数据采集3大平台、开放式ETL4件套、OLAP分析平台、Adhoc、大数据分布式调度、数据集市、...
...跨部门协作、招聘、OKR管理等多方面的实践经验。 壹佰案例在MPD开始前采访了沈剑老师，先行剧透架构师转型做管理的感悟。 壹佰案例： 请简单介绍下您和目前负责的工作，以及关注的领域、技术积累？ 沈剑：我是来自5...
...领域甄选前沿的有典型代表的技术创新及研发实践的架构案例，分享他们在本年度最值得的总结、盘点的实践启示，打造一个分享及讨论平台，改变未来一年的互联网构建方式。本次大会共有 5 大板块方向，20 场技术专题，70 个...
...领域甄选前沿的有典型代表的技术创新及研发实践的架构案例，分享他们在本年度最值得的总结、盘点的实践启示，打造一个分享及讨论平台，改变未来一年的互联网构建方式。本次大会共有 5 大板块方向，20 场技术专题，70 个...
...式现场) 12月09日-12日，由msup主办的第五届TOP100全球软件案例研究峰会（以下简称TOP100summit）在北京国家会议中心举行，作为互联网行业最有影响力的年度会议之一，本届峰会甄选来自Google、腾讯、Twitter、华为等国内外一线互联...
...式现场) 12月09日-12日，由msup主办的第五届TOP100全球软件案例研究峰会（以下简称TOP100summit）在北京国家会议中心举行，作为互联网行业最有影响力的年度会议之一，本届峰会甄选来自Google、腾讯、Twitter、华为等国内外一线互联...
...创新，跨平台的订单系统、CRM系统、ERP系统、营销系统、数据分析系统等，让有赞从单一产品，成为全品类的电商SaaS/PaaS服务平台。伴随着公司业务的快速发展，原有IT架构的部署，已无法满足业务快速迭代的承载需求。针对有...
...风的实时路径……我们梳理了各大云计算厂商的9个典型案例，窥一斑而见全豹，看看拥抱云计算，正在给我们的生活带来哪些不一样的变化? 1.河北定州拥抱Azure云平台：公务员培训提速 随着微软IT学院、微软考试认证中...
ChatGPT和Sora等AI大模型应用，将AI大模型和算力需求的热度不断带上新的台阶。哪里可以获得...
大模型的训练用4090是不合适的，但推理（inference/serving）用4090不能说合适，...
图示为GPU性能排行榜，我们可以看到所有GPU的原始相关性能图表。同时根据训练、推理能力由高到低做了...
