回答:这个太范化了吧。大数据架构选择的方案就有很多，海量数据的即席查询本省就是业内目前的痛点，暂时没有太好的解决方案，kylin等框架也只是一个折中方案，如果你不是要求海量数据分析的秒级响应的话sparkSql、presto等都是不错的方案，分钟级别可以返回。
Paul_King
|
679人阅读
回答:目前最可靠的仓库不是机械硬盘，不是ssd，不是u盘，是光盘，虽然，市面上已经很少见到光盘，但光盘目前还是最廉价最可靠的个人用存储介质，本人20年前刻录的dvd光盘，依然能读取数据，试问，还有多少人20年前的硬盘还健在?目前，容量最大的光盘是蓝光光盘，价格也很低廉，一片容量为23g的刻录光盘，最多3元钱，蓝光刻录光驱，也仅300元左右一台，仅仅是一块1t机械盘的价格，但它可存储的容量，就是它的刻录寿...
Neilyo
|
2100人阅读
回答:分布式架构是软件系统分布式系统存储是基于存储、服务器、数据库技术、容灾热备等技术的系统集成数字经济时代，各个企业、个人都在生产数据，利用数据，数据也在社会中不断流动、循环，为这个时代创造着价值与机遇。尽管数据如此珍贵，但我们仍然会听到在集中式存储场景中，由于网络攻击、火灾、地震而造成数据故障、丢失等问题。为了防止数据出现故障、数据丢失、服务器出错、数据无法恢复等情况，越来越多企业开始把集中存储转变...
cocopeak
|
582人阅读
回答:分布式处理，分布式系统(其实也包含分布式存储系统)一直把RAS、MTBF、MTTR等作为可靠性衡量指标，但是专业指标是CAP指标，可用性作为其中重要因素之一。CAP理论阐述了在分布式系统的设计中，没有一种设计可以同时满足一致性，可用性和分区容错性。所以一个好的分布式系统，必须在架构上充分考虑上述指标。分布式系统设计中，BASE理论作为CAP理论的折中或延伸，在分布式系统中被大量使用。分布式系统的可...
lolomaco
|
1234人阅读
回答:从计算机资源的发展来看，个人认为可以分为三个阶段：最为早期的共享式，后来的单体式，到现在的分布式。这个发展的原因，都是基于计算资源的需求。早期一台服务unix服务器，连接多个终端，每个终端单独获取计算资源，其实跟现在的云计算感觉很类似，计算资源都放在服务器端，终端比较简单。这是早期对计算资源的需求和提供的计算能力之间的供需关系决定的。后来，随着计算机的发展，对计算资源的需求的不断增加，单体式的计算...
lavnFan
|
1443人阅读
...据库就可以解决这个问题。 云端数据管理通常牵扯到在分布式文件系统中加载和维护文件，像Hadoop分布式文件系统(HDFS)，随后用类似MapReduce这样的工具处理数据。对于数据仓库和其他的分析人物，像Hive这样的数据库工具在分布...
...数据库就可以解决这个问题。云端数据管理通常牵扯到在分布式文件系统中加载和维护文件，像Hadoop分布式文件系统（HDFS），随后用类似MapReduce这样的工具处理数据。对于数据仓库和其他的分析人物，像Hive这样的数据库工具在...
Git简介 Git是目前世界上最先进的分布式版本控制系统（没有之一）。Linux之父Linux用C语言写了Git分布式版本控制系统。 分布式版本控制系统与集中式版本控制系统的区别 区别 分布式 集中式 中央服务器 有，版本库集中存...
...下一代数据仓库成为热门话题，这当中包括大数据管理，分布式进行文件系统，如Hadoop、Mapreduce数据分割与访问执行;同时SQL支持，以Hive HADOOP为代表的SQL界面支持。从系统需求来看，大数据的架构对系统提出了新的挑战： 1...
...下一代数据仓库成为热门话题，这当中包括大数据管理，分布式进行文件系统，如Hadoop、Mapreduce数据分割与访 问执行;同时SQL支持，以Hive HADOOP为代表的SQL界面支持。从系统需求来看，大数据的架构对系统提出了新的挑战： 1...
Git 是一种分布式版本控制系统，它可以不受网络连接的限制，加上其它众多优点，目前已经成为程序开发人员做项目版本管理时的首选，非开发人员也可以用 Git 来做自己的文档版本管理工具。 一、Git 基础 1.1 Git 与 SVN 区...
...解决上述问题的解决方案。Mesa是一个针对结构化数据的分布式，可备份并且高可用的数据处理，存储和查询系统。Mesa从生成数据的流服务中获取数据，在内部进行聚合和持久化，通过查询给用户提供服务。尽管这篇论文主要讨...
对于刚学 Git 的朋友来说太痛苦了，一堆命令，于是就有了这篇文章，对于常用的命令进行梳理。Workspace：工作区Index / Stage：暂存区Repository：仓库区（或本地仓库）Remote：远程仓库1. 初始化在当前目录新建一个Git代码库git init初...
...争问题的做法就被称为互斥，也就是我们常说的锁了。 分布式并发概念 分布式 因为你管理得当，生意发展得很快，现在的办公室里已经堆不下所有衣服了。所以你又租了一个仓库来同样进行发货。两个地方都会进行发货，那么...
...based 优化器，以对SQL查询计划进行充分优化。 （2）借鉴分布式数据库思想。典型代表是Google Dremel、Apache Drill和Cloudera Impala，这类系统的特点是性能高（与Hive等系统比），但扩展性（包括集群规模扩展和SQL类型支持多样性）和...
ChatGPT和Sora等AI大模型应用，将AI大模型和算力需求的热度不断带上新的台阶。哪里可以获得...
大模型的训练用4090是不合适的，但推理（inference/serving）用4090不能说合适，...
图示为GPU性能排行榜，我们可以看到所有GPU的原始相关性能图表。同时根据训练、推理能力由高到低做了...
snifes
