回答:这个太范化了吧。大数据架构选择的方案就有很多，海量数据的即席查询本省就是业内目前的痛点，暂时没有太好的解决方案，kylin等框架也只是一个折中方案，如果你不是要求海量数据分析的秒级响应的话sparkSql、presto等都是不错的方案，分钟级别可以返回。
Paul_King
|
676人阅读
回答:近几年，大数据的概念逐渐深入人心，大数据的趋势越来越火爆。但是，大数据到底是个啥？怎么样才能玩好大数据呢？大数据的基本含义就是海量数据，麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。数字经济的要素之一就是大数据资源，现在大家聊得最多的大数据是基于已经存在的...
khlbat
|
802人阅读
回答:1998年9月4日，Google公司在美国硅谷成立。正如大家所知，它是一家做搜索引擎起家的公司。无独有偶，一位名叫Doug Cutting的美国工程师，也迷上了搜索引擎。他做了一个用于文本搜索的函数库（姑且理解为软件的功能组件），命名为Lucene。左为Doug Cutting，右为Lucene的LOGOLucene是用JAVA写成的，目标是为各种中小型应用软件加入全文检索功能。因为好用而且开源（...
ctriptech
|
850人阅读
回答:可能也在和我们一起买买买？开个玩笑，其实对于普通人而言，双11是坐在沙发上轻轻松松地买买买，而对于ucloud后台的技术人员则更像是一场大考。据说，今年光是ucloud云参与备战双11的就有500多人，分成了18个技术小分队来提供技术支持。为了应对双11这种突然出现很大峰值的场景，ucloud云团队专门设计了混合云方案，从计算、网络、存储、大数据多个层面全面推动整个集团基于云的基础技术架构统一，以...
ThreeWords
|
872人阅读
回答:目前阶段大数据技术及体系已经逐渐趋于成熟，不再是以概念贯穿的模式，大数据越来越多的被使用，伴随互联网化的发展更多的企业信息化已经由IT时代转变为DT时代，以数据为核心，用数据进行决策，基于数据驱动企业的创新与发展，相信在将来大数据也会有更广泛的应用空间，对于大数据的理解主要分为以下几个层面。1.数据来源：对于大数据时代而言更多强调基于业务数据的沉淀，在一定规模的数据上进行进一步的分析、处理、转换，...
arashicage
|
1226人阅读
回答:在大数据领域大概有四个大的工作方向，除了大数据平台应用及开发、大数据分析与应用和大数据平台集成与运维之外，还有大数据平台架构与研发，除了以上四个大的工作方向之外，还有一个工作方向是大数据技术推广和培训，这部分工作目前也有不少人在从事。大数据平台架构与研发主要的工作内容是研发底层的大数据平台，这部分工作的难度较高，从事这部分工作的研发级岗位也并不多。现在不少技术研发团队都以Hadoop、Spark平...
zhangxiangliang
|
3464人阅读
...和数据处理与分析层，由此可概括的两大核心技术： ① 分布式存储 解决海量数据的存储问题 一台机器无法存储，我们就借助集群进行分布式存储 ② 分布式处理 解决海量数据的处理问题 一台机器无法高效完成数据处理，...
...析这两个层面。 1.4.2两大核心技术 两大核心技术指的是分布式存储、分布式处理。 分布式存储：解决海量数据的存储问题。单机无法存储海量数据时，就借助集群进行分布式存储。 分布式处理：解决海量数据的处理问题。单...
...析技术 常见的大数据分析技术主要由以下几部分构成： 分布式的文件系统存储海量的非结构化数据（例如：hdfs等） 分布式的离线计算系统，对业务数据批量处理。（例如：mapreduce等） 分布式的实时计算系统，实时对业务数据...
...笔记》 《我要进大厂系列之面试圣经》 《亿级流量下的分布式解决方案》 《深入浅出Java23种设计模式》 《Java8新特性教程》 《跟冰河学习分布式存储技术》 《跟冰河学习Nginx技术》 《跟冰河学习互联网工程技术》 架构类 《...
...的升级，计算机领域内便产生了OTT式的技术革新，诞生了分布式计算和量子计算机技术，而这两者的出现，也必将决定性的改变计算机资源供给端的情况。 分布式计算机技术，已经逐渐成为大数据领域底层IT架构的行业标准，分...
ChatGPT和Sora等AI大模型应用，将AI大模型和算力需求的热度不断带上新的台阶。哪里可以获得...
大模型的训练用4090是不合适的，但推理（inference/serving）用4090不能说合适，...
图示为GPU性能排行榜，我们可以看到所有GPU的原始相关性能图表。同时根据训练、推理能力由高到低做了...
