{eval=Array;=+count(Array);}

问答专栏Q & A COLUMN

学大数据,都学习哪些内容,要学多久?

newtreknewtrek 回答0 收藏1
收藏问题

8条回答

molyzzx

molyzzx

回答于2022-06-28 15:07

很多初学者在学习大数据之前往往都有这样一个疑问,那就是学习多久才能掌握相关的技术,达到就业岗位的要求?

要想知道类似问题的答案需要从多个角度来分析,大数据本身涉及到一系列围绕数据的相关技术,这些技术涉及到大数据平台技术、大数据开发技术、数据分析技术、数据呈现技术、数据采集整理技术等等,这些技术既有区别又有联系,相关技术也都有相对应的岗位,所以作为学习者来说应该选择一个细分方向来学习,而不能简单的说学习大数据。

目前大数据的相关岗位以大数据开发、大数据分析、大数据运维居多,所以就从这几个方面来简单的分析一下需要学习哪些知识,以及一个大致的学习周期。

大数据开发是基于大数据平台进行的功能性开发,学习可以分为三个阶段,分别是编程语言、大数据平台和案例开发。编程语言往往以学习Java、Python和Scala居多,通常情况下编程语言的学习是比较耗费时间的,按照历史经验来看,对于没有编程语言的人来说,入门编程语言大概需要3个月左右的时间。看一下同一个操作采用Python、Scala和Java编写的代码实现过程:

接着要学习一下如何搭建基础的大数据平台,这部分知识对于大数据开发人员来说并不是重点,但是基本的搭建过程是应该掌握的,搭建Hadoop平台和Spark平台往往也需要大量的实验,另外还需要掌握大数据平台的体系结构和功能组成,这部分的学习时间大概需要2个月左右。接着就是在大数据平台下进行项目开发了,这部分学习时间可长可短,一般完成一个综合性的大数据开发实验也需要1个月左右的时间,这样算下来,入门大数据开发大概需要6个月左右的时间。

大数据分析需要学习的内容与大数据开发有一定的区别,大数据分析需要学习各种分析算法以及各种数据分析软件的使用。另外,目前采用机器学习的方式进行大数据分析也是一种比较流行的做法。学习大数据分析也需要了解大数据平台的基础知识、算法知识、机器学习等内容,从学习周期上来说与大数据开发差不多,也需要6个月左右。学习数据分析往往需要具备一定的数学基础,否则需要补学的内容比较多,耗费的时间也比较长。

大数据运维则主要是学习大数据平台的搭建、组件部署、平台测试以及维护等方面的内容,大数据运维需要学习大量的软硬件知识,包括计算机网络知识。总的来说,学习的量也是比较大的,在时间上根据不同的基础可长可短,一般在3到6个月基本上能入门。

大数据是我的主要研究方向之一,目前我也在带大数据方向的研究生,我会陆续在头条写一些关于大数据方面的文章,感兴趣的朋友可以关注我,相信一定会有所收获。

如果有大数据方面的问题,也可以咨询我。

谢谢!

评论0 赞同0
  •  加载中...
oogh

oogh

回答于2022-06-28 15:07

大数据是从小数据开始,没有所谓学习多久?只要方式方法正确。

评论0 赞同0
  •  加载中...
alanoddsoff

alanoddsoff

回答于2022-06-28 15:07

大数据发展速度很快,对技术的需求也在不断更新迭代,从第一代的Hadoop为主,到现在的Hadoop、Spark、Storm、Flink百花齐放,一方面是因为需求的变化,另一方面也是技术生态在不断拓展和完善。

学大数据,都学习哪些内容,这就需要结合市场来考量,市场需求什么,那就需要去掌握相应的技术框架。

下面例举通用层面上,大数据一般需要学习和掌握哪些——

1、数据收集层

主要由关系型和非关系型数据收集组件,分布式消息队列构成。

Sqoop/Canal:关系型数据收集和导入工具。

Flume:非关系型数据收集工具,主要是流式日志数据。

Kafka:分布式消息队列,一般作为数据总线使用。

2、数据存储层

主要由分布式文件系统(面向文件存储)和分布式数据库(面向行/列的存储)构成。

HDFS:Hadoop分布式文件系统。

Hbase:构建在HDFS之上的分布式数据库。

Kudu:分布式列数据库,允许用户存储结构化数据。

3、资源管理与服务协调层

YARN:统一资源管理与调度系统,管理集群中的各种资源。

ZooKeeper:基于简化的Paxos协议实现的服务协调系统。

4、计算引擎层

包括批处理(时间要求低,高吞吐)、交互式处理(时间要求比较高,sql查询)、流式实时处理(时间要求非常高、广告投放等)三种引擎。

MapReduce:经典的批处理计算引擎,具体良好的扩展性与容错性。

Spark:通用的DAG计算引擎,允许用户充分利用内存进行快速的数据挖掘和分析。

Impala/Presto:开源的MPP系统,允许用户使用标准的SQL处理存储在Hadoop中的数据。

Storm/Spark Streaming:分布式流式实时计算引擎,能够高效的处理流式数据。

5、数据分析层

为方便用户解决大数据问题而提供的各种数据分析工具。

Hive/Pig/SparkSQL:在计算引擎之上构建的支撑SQL或者脚本语言的分析系统,大大降低了用户进行大数据分析的门槛。

Mahout/MLib:在计算引擎上构建的机器学习库,实现常用的机器学习和数据挖掘算法。

Apache Beam/Cascading:基于各类计算框架而封装的高级API,方便构建复杂的流水线。

评论0 赞同0
  •  加载中...
YuboonaZhang

YuboonaZhang

回答于2022-06-28 15:07

你好,提出这样的问题的人十之八九是还不太了解,学习大数据相关的东西也可以说是一个菜鸟级别的人物,那学习大数据学些什么要多久?这些问题具体得看你个人是什么样的人,第一,你是否有编程基础,你有编程基础的人学着大数据就相对容易些地儿你的文化基础是什么呀?学习大数据需要很强的专业知识,所以你你说一个初中生或者高中生或者说一个。一个大学生以前都没有接触过相关领域的技术就去学习大数据,那肯定很难,第三,你是否能坚持学习一门技术贵在坚持因为学习编程很复杂也很无趣,所以在学习的过程中,你要坚持。第四学习多久?这个看你自己的时间安排,如果你全职学习少则半年多则一年,如果你时间很紧张呢,就不好说了,至于学习什么内容,我想这个在这里也说不太清楚,你可以去百度一下那里面在说得很清楚。

好了,如果你真心想学技术?其实也不要怕坚持付出,你一定会学会,谢谢!

评论0 赞同0
  •  加载中...
JowayYoung

JowayYoung

回答于2022-06-28 15:07

在我们生活和工作中有很多地方都用到了大数据开发技术,对于小伙伴来说大数据开发已经不陌生了,企业对大数据开发人员的需求量在不断增多,市场上也有许多小伙伴想要学习大数据开发技术知识,不过小伙伴要知道,想要入门大数据开发必须系统的去学习大数据开发技术。

那学习大数据很难吗?需不需要编程基础呢?大数据是一项比较复杂的编程语言,学习大数据开发是需要一定的编程基础的,而且大数据是综合性比较高的编程语言,对于零基础小伙伴来说学习大数据是比较困难的,但是零基础小伙伴可以选择大数据培训班来学习,而且还能系统的学习大数据相关的技术知识。

一般零基础小伙伴在大数据培训班学习开发技术知识,培训班事先会通过面试的方式对小伙伴做一个初步的了解,然后通过考试来检测小伙伴到底适不适合学习大数据开发,而且还会给小伙伴推荐比较适合学习的编程技术,增加成功学习编程技术的概率。

零基础小伙伴一般在大数据培训班学习开发技术时,需要学习一些java、Python等编程基础知识包括算法、框架等知识,在后续过程中是需要学习Linux系统操作、学习搭建Hadoop平台和Spark平台等大数据开发相关技术知识。

在大数据培训班学习开发技术知识,除了学习开发技术基础知识之外,还需要练习一些企业级项目实战案例,让小伙伴在学习开发技术知识的同时,积累更多的项目实战经验,锻炼学习在公司项目实战中解决问题的方法。

一般情况下,在大数据培训班系统学习开发技术知识的培训周期是5-6个月的时间,培训结束之后,能够达到初级开发工程师的技术水平,不过小伙伴在选择大数据培训班的时候,一定要选择适合自己的,靠谱的大数据培训班来学习。

学习方式是其中一个因素,最重要的是小伙伴能够找到适合自己的学习方法,成功入门大数据开发,在学习中要养成良好的学习习惯,学会善于反思和总结学习经验。尚硅谷大数据培训班是一个比较靠谱的线下面授教学的职业培训机构,在学习中练习企业级项目实战案例,锻炼小伙伴解决问题的能力,培训班还有大数据视频供小伙伴下载学习!

http://www.atguigu.com/bigdata_video.shtml

评论0 赞同0
  •  加载中...
TerryCai

TerryCai

回答于2022-06-28 15:07

学习大数据很多的初学者一开始的时候对于大数据学习学习的内容有那些?要学习多久?零基础难不难学习?等一系列问题都存在一大堆的疑问,今天小编就针对这个问题为大家来一一解答。

学大数据,都学习哪些内容?

既然是学习大数据及时,那我们第一时间就应该是去了了解一下什么是大数据,大数据都要学习那些知识,只有知道了这俩点我们才能够更好的进行下边的学习。

第一阶段:JavaSE基础核心


第二阶段:数据库关键技术


第三阶段:大数据基础核心


第四阶段:Spark生态体系框架&大数据高薪精选项目


第五阶段:Spark生态体系框架&企业无缝对接项目


第六阶段:Flink流式数据处理框架



学大数据,要学多久?

大数据学习,要学多久?一般是要看你自己的学习能力和你选择的学习方式,如果学习能力比较强的话学习时间就好短一些,这个一般自学的话大概在一年左右的时间,如果是选择大数据培训进行学习的话,一般的学习周期是在6个月左右的时间。

这里小编建议在选择学习方式的时候,不管是自学还是大数据培训都不要盲目的去根据别人的情况和建议进行选择,而是要更加自己是实际情况去分析选择适合的学习方式是最好的。

评论0 赞同0
  •  加载中...
yanbingyun1990

yanbingyun1990

回答于2022-06-28 15:07

学习积云大数据课程包括:Java入门、Java进阶、数据库编程、web应用实战、经典&主流框架、互联网流行技术、互联网解决方案


要学一年左右,这里说的是有一些基础的。对于0基础的同学来说可能要学更长的时间

评论0 赞同0
  •  加载中...
figofuture

figofuture

回答于2022-06-28 15:07

基础阶段:Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis。
hadoop mapreduce hdfs yarn:hadoop:Hadoop 概念、版本、历史,HDFS工作原理,YARN介绍及组件介绍。

大数据存储阶段:hbase、hive、sqoop。

大数据架构设计阶段:Flume分布式、Zookeeper、Kafka。

大数据实时计算阶段:Mahout、Spark、storm。

大数据数据采集阶段:Python、Scala。

大数据商业实战阶段:实操企业大数据处理业务场景,分析需求、解决方案实施,综合技术实战应用。

大数据(big data,mega data),或称巨量资料,指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样的捷径,而采用所有数据进行分析处理。大数据的5V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值密度)、Veracity(真实性)。

大数据的5个“V”,或者说特点有五层面:

第一,数据体量巨大

从TB级别,跃升到PB级别。

第二,数据类型繁多

前文提到的网络日志、视频、图片、地理位置信息等等。

第三,价值密度低

以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。

第四,处理速度快

1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。业界将其归纳为4个“V”——Volume,Variety,Value,Velocity。

物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器,无一不是数据来源或者承载的方式。

评论0 赞同0
  •  加载中...

相关问题

最新活动

您已邀请0人回答 查看邀请

我的邀请列表

  • 擅长该话题
  • 回答过该话题
  • 我关注的人
向帮助了您的网友说句感谢的话吧!
付费偷看金额在0.1-10元之间
<