回答:这个太范化了吧。大数据架构选择的方案就有很多，海量数据的即席查询本省就是业内目前的痛点，暂时没有太好的解决方案，kylin等框架也只是一个折中方案，如果你不是要求海量数据分析的秒级响应的话sparkSql、presto等都是不错的方案，分钟级别可以返回。
Paul_King
|
637人阅读
回答:随着大数据应用的逐渐落地，很多人都想从事大数据方面的工作，这其中自然就有很多非大数据相关专业（数学、计算机、统计学）的从业者，那么大数据到底能不能从零基础开始学呢？答案是肯定的，但是也要根据自身的知识结构来选择大数据的学习方向。大数据技术体系在2016年的时候已经趋于成熟，目前正处在落地应用的阶段，大数据的细分岗位比较多，自然也就需要具备不同的知识结构。大数据的岗位集中在数据采集、整理、存储、分析...
wuyangnju
|
826人阅读
回答:数据库开发工程和大数据开发严格意义上来说不算转行，从技术层面来讲大数据开发需要更深层的技术基础和更广的架构思路，也其说转行不如说是对自身职业的一个飞跃。数据库开发工程对于基本的数据库开发比如说SQL的熟练，表结构的分析，数据库编程的掌握，数据库的运维，这都是数据库开发工程师的天然优势和技术积累，如果要上升到大数据开发显示是比小白更具优势，向大数据库开发提升，建议从以下几方面着手：1.从技术上要学习...
sean
|
688人阅读
回答:在大数据领域大概有四个大的工作方向，除了大数据平台应用及开发、大数据分析与应用和大数据平台集成与运维之外，还有大数据平台架构与研发，除了以上四个大的工作方向之外，还有一个工作方向是大数据技术推广和培训，这部分工作目前也有不少人在从事。大数据平台架构与研发主要的工作内容是研发底层的大数据平台，这部分工作的难度较高，从事这部分工作的研发级岗位也并不多。现在不少技术研发团队都以Hadoop、Spark平...
zhangxiangliang
|
3313人阅读
回答:是的。一方面，大数据计算通常不能在内存中完成，需要多次读写硬盘数据。另一方面，数据分布在不同的机器上，需要对数据进行网络传输。因此，大数据运算更多的时间是在读写磁盘和网络传输数据。因为数据I/O的效率通常低于CPU运算效率。因此，对读写同一张表的多个SQL进行合并，可以减少本地磁盘读写次数，以及网络传输的数据，从而提高程序运行效率。
李增田
|
1067人阅读
回答:诚邀回答，下面我来说说我的个人观点：随着大数据的热度不断升温、技术日趋成熟，应用越来越广泛，很多人都看好大数据未来的发展前景。这其中不乏大量Java开发岗位转大数据方向的程序员。究竟是坚守java岗还是去做大数据？我认为最重要的还是要结合个人的职业发展来定位。并不是大数据火了，转行做大数据就业前景就更可观，个人能力、与企业技能要求的匹配度、市场竞争环境、行业人才需求及机遇等都会左右我们最终的职业走...
Tony_Zby
|
1025人阅读
...统，可以多达几万台机器甚至更多。 Hadoop最初主要包含分布式文件系统HDFS和计算框架MapReduce两部分，是从Nutch中独立出来的项目。在2.0版本中，又把资源管理和任务调度功能从MapReduce中剥离形成YARN，使其他框架也可以像MapReduce...
...实验架构图 搜索引擎架构在OpenSearch之上，是一个典型的分布式在线实时交互查询架构，无单点故障，高伸缩、高可用，免运维，低成本。对大量信息的索引与搜索都可以在近乎实时的情况下完成，能够快速实时搜索数十亿的文...
...实验架构图 搜索引擎架构在OpenSearch之上，是一个典型的分布式在线实时交互查询架构，无单点故障，高伸缩、高可用，免运维，低成本。对大量信息的索引与搜索都可以在近乎实时的情况下完成，能够快速实时搜索数十亿的文...
...和数据处理与分析层，由此可概括的两大核心技术： ① 分布式存储 解决海量数据的存储问题 一台机器无法存储，我们就借助集群进行分布式存储 ② 分布式处理 解决海量数据的处理问题 一台机器无法高效完成数据处理，...
...笔记》 《我要进大厂系列之面试圣经》 《亿级流量下的分布式解决方案》 《深入浅出Java23种设计模式》 《Java8新特性教程》 《跟冰河学习分布式存储技术》 《跟冰河学习Nginx技术》 《跟冰河学习互联网工程技术》 架构类 《...
...析这两个层面。 1.4.2两大核心技术 两大核心技术指的是分布式存储、分布式处理。 分布式存储：解决海量数据的存储问题。单机无法存储海量数据时，就借助集群进行分布式存储。 分布式处理：解决海量数据的处理问题。单...
...负责人，还是Spark的早期研究者和布道者，并且一直从事分布式计算和机器学习领域的开发工作。能否结合您的工作经历，为我们介绍一下通用大数据平台到专用机器学习平台的演进历程？是什么推动了这一转变？您认为将来大...
ChatGPT和Sora等AI大模型应用，将AI大模型和算力需求的热度不断带上新的台阶。哪里可以获得...
大模型的训练用4090是不合适的，但推理（inference/serving）用4090不能说合适，...
图示为GPU性能排行榜，我们可以看到所有GPU的原始相关性能图表。同时根据训练、推理能力由高到低做了...
