回答:我是做JAVA后台开发的，目前为止最多处理过每天600万左右的数据！数据不算特别多，但是也算是经历过焦头烂额，下面浅谈下自己和团队怎么做的？后台架构:前置部门:负责接收别的公司推过来的数据，因为每天的数据量较大，且分布不均，使用十分钟推送一次报文的方式，使用batch框架进行数据落地，把落地成功的数据某个字段返回给调用端，让调用端验证是否已经全部落地成功的，保证数据的一致性！核心处理:使用了spr...
李增田
|
1481人阅读
回答:使用SQL处理数据时，数据会在数据库内直接进行处理，而且sql处理本身可以对sql语句做优化，按照最优的策略自动执行。使用Java处理时，需要把数据从数据库读入到Java程序内存，其中有网络处理和数据封装的操作，数据量比较大时，有一定的延迟，所以相对来说数据处理就慢一些。当然，这个只是大体示意图，实际根据业务不同会更复杂。两者侧重的点不同，有各自适合的业务领域，需要根据实际情况选用合适的方式。
stefanieliang
|
2076人阅读
回答:近年来，大数据非常火，人人都谈大数据。但也有人认为，大数据是华而不实，没有什么实际意义。那么大数据究竟是什么？大数据能为我们带来什么呢？我们一起来看一看。大数据是什么？对于很多人来说，当第一次听到大数据这个词的时候，就会自然而然地从字面上去理解：大数据就是大量的数据，大数据技术就是大量数据的存储和处理技术。然而，事实并非如此，大数据比我们一般的想象更为复杂。大数据技术不只是一项数据处理和存储的技术...
Julylovin
|
612人阅读
回答:这是一个非常好的问题，作为一名IT从业者，同时也在带大数据方向的研究生，所以我来回答一下这个问题。首先，从技术体系结构上来看，当前的大数据技术已经趋于成熟了，在数据存储、数据分析、数据呈现和数据应用等方面，已经形成了一整套技术框架，相关的技术生态也在不断完善当中。当前大型科技公司也开始逐渐形成自己的大数据平台，不同平台也都有自身的技术特点，总的来说，当前在技术上已经为大数据的行业应用创新奠定了基础...
alexnevsky
|
1128人阅读
回答:数据已被国家层面定义为共创共享、可分配的生产要素，这必将极大的助力大数据在2020年的发展。这里，简单说几点来年的发展趋势：1.脱敏流通可分配即可流通，但是一定是合规、合法的。怎样才能合规、合法？这得依靠一些底层的公允脱敏技术，不具体指向某个具体用户，不可复原数据信息……有哪些就不说了。2.融合交互经过公允的底层技术转换之后，数据就有了合法合规流通的基本前提，这个前提一旦具备，跨企业、平台之间的数...
xingqiba
|
1137人阅读
回答:这个太范化了吧。大数据架构选择的方案就有很多，海量数据的即席查询本省就是业内目前的痛点，暂时没有太好的解决方案，kylin等框架也只是一个折中方案，如果你不是要求海量数据分析的秒级响应的话sparkSql、presto等都是不错的方案，分钟级别可以返回。
Paul_King
|
673人阅读
... 大数据概述 1.1 大数据时代00 简要介绍01 时代背景的支撑 1.2 大数据的概念和影响00 大数据的 `4V ` 特性⭐01 大数据的影响 1.3 大数据的应用00 影视剧的投拍01 谷歌预测流感03 ...
大数据 大数据是用于描述海量的,具有各种结构并且高速生成的数据的一个术语.这类数据对用于存储和处理数据传统RDBMS(即关系数据库管理系统)提出了挑战.大数据为处理和存储数据的新途径铺平了道路.在本章节中,我们将探...
... 1.1 大数据时代 1.1.1第三次信息化浪潮 2010年前后，以云计算、大数据、物联网的首发为标志迎来第三次信息化浪潮。 IT发展史历经的信息化浪潮如下： 1.1.2 大数据时代的到来...
...储及处理: 大数据有很多要处理的阶段，包括筛选、预处理、处理、长期或短期的数据存储。每个阶段都可能用到云体系的不同方面。例如，你可以在私有内部云中筛选和预处理数据令其以结构化、自我部署;在私有云中处...
云计算是什么?大数据是什么?云计算和大数据有什么区别?云计算和大数据关联又是什么?估计很多人都不是很清楚这两者到底代表什么。如果要了解云计算和大数据的意思和关系，那我们就要先对这两个词进行了解，分别了解两...
什么是大数据？进入本世纪以来，尤其是2010年之后，随着互联网特别是移动互联网的发展，数据的增长呈爆炸趋势，已经很难估计全世界的电子设备中存储的数据到底有多少，描述数据系统的数据量的计量单位从MB（1MB大约...
通常情况下，我们容易将大数据与云计算混淆在一起，笔者就概念定义先做科普工作。著名的麦肯锡全球研究所给出大数据定义是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据...
...、Oracle基础、MongoDB、redis。hadoop mapreduce hdfs yarn：hadoop大数据存储阶段：hbase、hive、sqoop。大数据架构设计阶段：Flume分布式、Zookeeper、Kafka。大数据实时计算阶段：Mahout、Spark、storm。大数据数据采集阶段：Python、Scala。大数据商...
ChatGPT和Sora等AI大模型应用，将AI大模型和算力需求的热度不断带上新的台阶。哪里可以获得...
大模型的训练用4090是不合适的，但推理（inference/serving）用4090不能说合适，...
图示为GPU性能排行榜，我们可以看到所有GPU的原始相关性能图表。同时根据训练、推理能力由高到低做了...
