回答:这个太范化了吧。大数据架构选择的方案就有很多，海量数据的即席查询本省就是业内目前的痛点，暂时没有太好的解决方案，kylin等框架也只是一个折中方案，如果你不是要求海量数据分析的秒级响应的话sparkSql、presto等都是不错的方案，分钟级别可以返回。
Paul_King
|
673人阅读
回答:现在有幸参与传统银行数字化转型，负责技术架构部分的转型设计。高性能的数据架构（High Performance Data Architecture），正是我们架构转型的重点。随着科技的蓬勃发展、社交网络的广泛使用、线上消费的普及、数据挖掘的技术提升等大趋势，全球银行业正迎来一场声势浩大的数字化创新浪潮。数字化为消费者的生活及行为模式带来翻天覆地的变化，也孵化出一批新型的金融科技(Fintech)竞...
Lowky
|
522人阅读
回答:以mysql为列：1：支撑高并发系统，一定会涉及事务，所以数据库引擎必选innodb，innodb支持事务，事务级别根据业务而定，如果业务数据一致性要求很高，事务就开启序列化级别，这样就完全隔离事务，但是会导致锁资源竞争加剧。mysql的性能有一定的降低。2：读写分离，数据库分成主库和从库，主库负责写数据，丛库负责读数据。注意主从数据库数据一致性问题。3：冷热数据分离，美团，饿了么部分设计采用冷热...
Vultr
|
1243人阅读
回答:目前阶段大数据技术及体系已经逐渐趋于成熟，不再是以概念贯穿的模式，大数据越来越多的被使用，伴随互联网化的发展更多的企业信息化已经由IT时代转变为DT时代，以数据为核心，用数据进行决策，基于数据驱动企业的创新与发展，相信在将来大数据也会有更广泛的应用空间，对于大数据的理解主要分为以下几个层面。1.数据来源：对于大数据时代而言更多强调基于业务数据的沉淀，在一定规模的数据上进行进一步的分析、处理、转换，...
arashicage
|
1224人阅读
回答:在大数据领域大概有四个大的工作方向，除了大数据平台应用及开发、大数据分析与应用和大数据平台集成与运维之外，还有大数据平台架构与研发，除了以上四个大的工作方向之外，还有一个工作方向是大数据技术推广和培训，这部分工作目前也有不少人在从事。大数据平台架构与研发主要的工作内容是研发底层的大数据平台，这部分工作的难度较高，从事这部分工作的研发级岗位也并不多。现在不少技术研发团队都以Hadoop、Spark平...
zhangxiangliang
|
3461人阅读
回答:近几年，大数据的概念逐渐深入人心，大数据的趋势越来越火爆。但是，大数据到底是个啥？怎么样才能玩好大数据呢？大数据的基本含义就是海量数据，麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。数字经济的要素之一就是大数据资源，现在大家聊得最多的大数据是基于已经存在的...
khlbat
|
800人阅读
...艺术节上，Motley Fool的Tim Byers说过：在很多方面，云和大数据越来越密不可分且功能相似-云资源用来支撑大数据的存储及项目，而且大数据相对于云来说是一个庞大的业务案例。大数据和云技术的最终联姻，必定是天作之合。 ...
...应用都需要有 APM 体系，可以随时分析性能的情况；在大数据时代，随着数据规模的增加以及硬件计算能力的提升，数据库的使用也发生了重大的变化；最重要的，整个 DevOps 也在进化到人工智能时代，监控、服务治理、调度这...
...应用都需要有 APM 体系，可以随时分析性能的情况；在大数据时代，随着数据规模的增加以及硬件计算能力的提升，数据库的使用也发生了重大的变化；最重要的，整个 DevOps 也在进化到人工智能时代，监控、服务治理、调度这...
大数据分布式存储的部署模式：分离式or超融合数据中心内部系统的核心要求是稳定可靠，一是指系统在运行过程中有能力提供连续可靠的服务，长时间无故障运行；二是指当故障发生之后，有能力快速定位，及时排查，...
...、微服务架构及 Serverless、中间件平台、容器、AI DevOps、数据库、大前端、Fintech、机器学习、人工智能、智能硬件、效率管理等 20 个技术专题。 史海峰、惠新宸、袁进辉、沈剑、陈皓等经验丰富的一线技术团队带头人现场分享...
...、微服务架构及 Serverless、中间件平台、容器、AI DevOps、数据库、大前端、Fintech、机器学习、人工智能、智能硬件、效率管理等 20 个技术专题。 史海峰、惠新宸、袁进辉、沈剑、陈皓等经验丰富的一线技术团队带头人现场分享...
本文授权转载自公众号蛋蛋团。 01 数据中心是什么 数据中心，指用于安置计算机系统及相关部件的设施，例如电信和储存系统。 为了满足自身的业务需求，保证数据的稳定和可靠。无论是互联网还是传统行业，都会有自己...
大数据正在彻底改变IT世界。那么，什么样的数据谈得上数据呢? 根据IDC的报告，未来十年全球大数据将增加50倍。仅在2011年，我们就将看到1.8ZB(也就是1.8万亿GB)的大数据创建产生。这相当于每位美国人每分钟写3条Tweet，而...
大数据正在彻底改变IT世界。那么，什么样的数据谈得上数据呢? 根据IDC的报告，未来十年全球大数据将增加50倍。仅在2011年，我们就将看到1.8ZB(也就是1.8万亿GB)的大数据创建产生。这相当于每位美国人每分钟写3条...
摘要：友盟大数据平台的架构借鉴了Lambda架构思想，数据接入层让Kafka集群承担，后面由Storm消费，存储在MongoDB里面，通过Kafka自带的Mirror功能同步，两个Kafka集群，可以分离负载；计算有离线和实时两部分，实时是Storm，离线...
ChatGPT和Sora等AI大模型应用，将AI大模型和算力需求的热度不断带上新的台阶。哪里可以获得...
大模型的训练用4090是不合适的，但推理（inference/serving）用4090不能说合适，...
图示为GPU性能排行榜，我们可以看到所有GPU的原始相关性能图表。同时根据训练、推理能力由高到低做了...
