大数据是我的主要研究方向之一，我使用Java的时间也比较久，多年前（2008年）还出版过Java的书籍，所以我来说一说Java与大数据的结合都需要学习哪些内容。

大数据平台与Java

首先Java是一门编程语言，而大数据则是一个产业领域，简单的说做大数据的相关研发可以使用Java语言来实现，Java是大数据领域的一个重要工具。

大数据行业涉及到诸多岗位，这些岗位主要围绕数据展开，包括数据采集、数据整理、数据传输、数据存储、数据安全、数据分析、数据呈现以及应用等。这些不同的岗位有不同的职责，所使用的工具也不尽相同。

在数据采集端往往与物联网对接，当然也有大量的传统ERP系统，这部分岗位要对数据库知识有全面的了解。目前有不少ERP系统都是采用Java语言开发的，当然了解Java开发知识对这部分岗位也是有一定帮助的。

在数据的存储端往往涉及到云计算平台，云计算跟大数据的关系十分密切，主要涉及到数据的分布式存储和分布式计算。一般情况下，云平台是大数据的重要支撑，云计算平台为大数据提供硬件资源，做云计算研发的Java程序员主要围绕资源管理展开工作，严格的说这部分开发属于云计算研发的范畴。

Java做大数据主要的应用在数据分析和呈现上，使用Java做算法实现，做落地应用。这部分知识涉及到Java基础语法、JavaWeb开发、Java数据结构、Java分布式开发等几大方面的知识，另外需要掌握Hadoop及Spark平台的开发API。

需要掌握的Java内容

Java基础语法部分围绕类、对象、属性和方法展开，包括封装、继承、多态等几个核心概念的掌握。Java Web开发则包括Servlet、JSP、JavaBean等基本的Web组件，以及SpringMVC框架等知识的掌握。Java分布式开发则要掌握RMI，以及Java分布式框架的应用。

由于Hadoop平台本身就是基于Java构建的，所以一般在Hadoop平台下使用Java也是一个常见的选择。Hadoop平台为Java语言提供了一系列API，以方便Java在Hadoop平台下的场景研发。

我在头条上写了关于Java的系列文章，包括Java基础开发、Java并发、Java分布式开发和JavaWeb开发，感兴趣的朋友可以关注我的头条号，相信一定会有所收获。

如果有Java、大数据方面的问题，也可以咨询我。

谢谢！

Java是编程语言，编程语言可以用来开发各种应用软件，比如BS架构的各类web系统，如电商系统，CRM系统，移动运营商的业务运营管理系统，今日头条等互联网业务系统等等

而大数据狭义上来说，则是现实中各类海量数据的处理需求处理技术，比如电商系统里面，往往要根据海量的用户浏览购买行为记录做各类运算处理后，挖掘出各类有价值的信息来提高电商业务运营效率，支撑智能商品推荐； 在今日头条里面，要根据海量用户浏览行为和海量内容属性进行分析，以支撑为每个用户提供个性化的内容推荐等等。

当然，这些数据处理的需求最终必定是通过程序来完成，而这些程序当然可以使用Java语言来开发；

所以，Java是一个编程语言，你可以用它来开发业务功能系统，也可以用它来开发大数据处理系统，你甚至可以用它开发电脑桌面软件，也可以开发安卓app

最后，Java能做的，基本上别的语言也能做，只是在不同领域由不同的需要各领风骚

最最后，整体上说来，Java的使用范围和使用规模，目前在各类语言中是排第一位的

阶段一 JavaSE基础核心

Java基础语法

· 分支结构if/switch

· 循环结构for/while/do while

· 方法声明和调用

· 方法重载

· 数组的使用

· 命令行参数、可变参数

IDEA

· IDEA常用设置、常用快捷键

· 自定义模板

· 关联Tomcat

· Web项目案例实操

面向对象编程

· 封装、继承、多态、构造器、包

· 异常处理机制

· 抽象类、接口、内部类

· 常有基础API、集合List/Set/Map

· 泛型、线程的创建和启动

· 深入集合源码分析、常见数据结构解析

· 线程的安全、同步和通信、IO流体系

· 反射、类的加载机制、网络编程

Java8/9/10/11
新特性

· Lambda表达式、方法引用

· 构造器引用、StreamAPI

· jShell(JShell)命令

· 接口的私有方法、Optional加强

· 局部变量的类型推断

· 更简化的编译运行程序等

MySQL

· DML语言、DDL语言、DCL语言

· 分组查询、Join查询、子查询、Union查询、函数

· 流程控制语句、事务的特点、事务的隔离级别等

JDBC

· 使用JDBC完成数据库增删改查操作

· 批处理的操作

· 数据库连接池的原理及应用

· 常见数据库连接池C3P0、DBCP、Druid等

阶段二 Hadoop生态体系架构

Maven

· Maven环境搭建

· 本地仓库&中央仓库

· 创建Web工程

· 自动部署

Linux

· VI/VIM编辑器

· 系统管理操作&远程登录

· 常用命令

· 软件包管理&企业真题

Shell编程

· 自定义变量与特殊变量

· 运算符

· 条件判断

· 流程控制

· 系统函数&自定义函数

· 常用工具命令

· 面试真题

Hadoop

· Hadoop生态介绍

· Hadoop运行模式

· 源码编译

· HDFS文件系统底层详解

· DN&NN工作机制

· HDFS的API操作

· MapReduce框架原理

· 数据压缩

· Yarn工作机制

· MapReduce案例详解

· Hadoop参数调优

· HDFS存储多目录

· 多磁盘数据均衡

· LZO压缩

· Hadoop基准测试

Zookeeper

· Zookeeper数据结果

· 内部原理

· 选举机制

· Stat结构体

· 监听器

· 分布式安装部署

· API操作

· 实战案例

· 面试真题

· 启动停止脚本

HA+新特性

· HDFS-HA集群配置

Hive

· Hive架构原理

· 安装部署

· 远程连接

· 常见命令及基本数据类型

· DML数据操作

· 查询语句

· Join&排序

· 分桶&函数

· 压缩&存储

· 企业级调优

· 实战案例

· 面试真题

Flume

· Flume架构

· Agent内部原理

· 事务

· 安装部署

· 实战案例

· 自定义Source

· 自定义Sink

· Ganglia监控

Kafka

· 消息队列

· Kafka架构

· 集群部署

· 命令行操作

· 工作流程分析

· 分区分配策略

· 数据写入流程

· 存储策略

· 高阶API

· 低级API

· 拦截器

· 监控

· 高可靠性存储

· 数据可靠性和持久性保证

· ISR机制

· Kafka压测

· 机器数量计算

· 分区数计算

· 启动停止脚本

DataX

· 安装

· 原理

· 数据一致性

· 空值处理

· LZO压缩处理

阶段三 Spark生态体系架构

Scala

· Scala基础入门

· 函数式编程

· 数据结构

· 面向对象编程

· 模式匹配

· 高阶函数

· 特质

· 注解&类型参数

· 隐式转换

· 高级类型

· 案例实操

Spark Core

· 安装部署

· RDD概述

· 编程模型

· 持久化&检查点机制

· DAG

· 算子详解

· RDD编程进阶

· 累加器&广播变量

Spark SQL

· SparkSQL

· DataFrame

· DataSet

· 自定义UDF&UDAF函数

Spark Streaming

· SparkStreaming

· 背压机制原理

· Receiver和Direct模式原理

· Window原理及案例实操

· 7x24 不间断运行&性能考量

Spark内核&优化

· 内核源码详解

· 优化详解

Hbase

· Hbase原理及架构

· 数据读写流程

· API使用

· 与Hive和Sqoop集成

· 企业级调优

Presto

· Presto的安装部署

· 使用Presto执行数仓项目的即席查询模块

Ranger2.0

· 权限管理工具Ranger的安装和使用

Azkaban3.0

· 任务调度工具Azkaban3.0的安装部署

· 使用Azkaban进行项目任务调度，实现电话邮件报警

Kylin3.0

· Kylin的安装部署

· Kylin核心思想

· 使用Kylin对接数据源构建模型

Atlas2.0

· 元数据管理工具Atlas的安装部署

Zabbix

· 集群监控工具Zabbix的安装部署

DolphinScheduler

· 任务调度工具DolphinScheduler的安装部署

· 实现数仓项目任务的自动化调度、配置邮件报警

Superset

· 使用SuperSet对数仓项目的计算结果进行可视化展示

Echarts

· 使用Echarts对数仓项目的计算结果进行可视化展示

Redis

· Redis安装部署

· 五大数据类型

· 总体配置

· 持久化

· 事务

· 发布订阅

· 主从复制

Canal

· 使用Canal实时监控MySQL数据变化采集至实时项目

阶段四 Flink生态体系架构

Flink

· 运行时架构

· 数据源Source

· Window API

· Water Mark

· 状态编程

· CEP复杂事件处理

Flink SQL

· Flink SQL和Table API详细解读

Flink 内核

· Flink内核源码讲解

· 经典面试题讲解

Git&GitHub

· 安装配置

· 本地库搭建

· 基本操作

· 工作流

· 集中式

ClickHouse

· ClickHouse的安装部署

· 读写机制

· 数据类型

· 执行引擎

DataV

· 使用DataV对实时项目需求计算结果进行可视化展示

sugar

· 结合Springboot对接百度sugar实现数据可视化大屏展示

Maxwell

· 使用Maxwell实时监控MySQL数据变化采集至实时项目

ElasticSearch

· ElasticSearch索引基本操作、案例实操

Kibana

· 通过Kibana配置可视化分析

Springboot

· 利用Springboot开发可视化接口程序

阶段五 项目实战阶段

数据采集平台项目

离线数据仓库项目

Spark实时分析项目

Flink实时数仓项目

推荐和机器学习项目

用户画像项目

在线教育项目

ucloud云电商项目

感谢悟空问答的邀请

笔者曾就职与ucloud，ucloud，samsung，是一个资深码农，欢迎大家关注我哦

一：两者关系

java是计算机的一门编程语言；可以用来做很多工作，大数据开发属于其中一种；

大数据属于互联网方向，就像现在建立在大数据基础上的AI方向一样，

他两不是一个同类，但是属于包含和被包含的关系；

java可以用来做大数据工作，大数据开发或者应用不必要用java，可以Python，Scala，go语言等。

目前最火的大数据开发平台是Hadoop，而Hadoop则是采用java语言编写。一方面由于hadoop的历史原因，Hadoop的项目诞生于一个java高之手；另一方面，也有Java跨平台方面的优势；基于这两个方面的原因，所以Hadoop采用了Java语言。但是也因为Hadoop使用了java所以就出现了市场上很多外行所说的“Java大数据”。

二：发展：

java属于语言，编程语言的发展未来说不准，至少现在java变成还是不错的前景，大数据大部分框架都有java的支持或者底层是java写的；

大数据的发展，概念可以理解为社会进步数据的巨量增加带来的价值性利用，成为大数据的一个方向。就像AI建立在大数据的数据量的基础上，未来会一直往技术前进的方向发展。

Java作为一种语言，它的存在已经有很多年了，而大数据作为一个新的概念他的出现是由于信息时代信息量的爆炸增长带来的，海量的数据等待我们去处理，海量的信息需要我们去鉴别，而这些处理和鉴别的方式可以用hadoop，用java去实现这一系列的鉴别处理工具，也就是用java语言去实现这些大数据算法的过程。

三：总结：

java目前算是主流，可以多学几门语言，技多不压身，百利而无一害对于开发；

大数据的这个方向，不会消失，只会随着技术的发展更加智慧性，要研究好大数据严格意义上来说是和java语言没有关系的，需要的是我们具备算法知识。当然，最主要的是我们有大数据，毕竟大数据时代最值钱的是数据，这也是为什么各大社交媒体，各大购物网站，甚至任意的app都需要用户您提交各人用户信息数据的原因。

大数据已经成为时代发展的趋势，很多人纷纷选择学习大数据，想要进入大数据行业。大数据技术体系庞大，包括的知识较多，系统的学习大数据可以让你全面掌握大数据技能。学习大数据需要掌握哪些知识

学习大数据，要从Java开始学起，如果已经有Java编程语言了，学习大数据就会相对轻松很多。在掌握了大数据的基本编程语言之后，就要正式进入大数据相关知识的学习了。

首先是基础阶段。

学习大数据首先要学习Java基础。在学习Java的时候，我们一般需要学习这些课程： HTML，CSS，JS，java的基础，JDBC与数据库，JSP java web技术， jQuery与AJAX技术，Spring、Mybatis、Hibernate等等。这些课程都能帮助我们更好了解Java，学会运用Java。

这一阶段还包括：关系型数据库原理、LINUX操作系统原理及应用。在掌握了这些基础知识后，还会有这些基础课程的进阶课程，即：数据结构与算法、MYSQL数据库应用及开发、SHELL脚本编程。在掌握了这些内容之后，大数据基础学习阶段才算是完成了。

第二阶段：大数据理论及核心技术。

第二阶段也被分为了基础和进阶两部分，先理解基础知识，再进一步对知识内容做深入的了解和实践。

基础部分包括：布式存储技术原理与应用、分布式计算技术、HADOOP集群搭建、运维；

进阶内容包括：HDFS高可靠、ZOOKEEPER、CDH、Shuffle、HADOOP源码分析、HIVE、HBASE、Mongodb、HADOOP项目实战。

完成了这部分内容的学习，就已经掌握了大数据专业大部分的知识，并具有了一定的项目经验。

第三阶段：数据分析挖掘及海量数据高级处理技术。

基础部分有：PYTHON语言、机器学习算法、FLUME+KAFKA；

进阶部分有：机器学习算法库应用、实时分析计算框架、SPARK技术、PYTHON高级语言应用、分布式爬虫与反爬虫技术、实时分析项目实战、机器学习算法项目实战。

以上便是大数据的主要学习内容。相信在掌握了以上大数据专业知识后，题主能够在将来的工作中得心应手，完成自己的职业理想。

大数据使用的技术

说起大数据，大数据有三个层数据采集、存储、计算三层。

第一个是数据采集层，以App、saas为代表的服务。

大数据基础阶段需掌握的技术有：Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis以及hadoopmapreduce hdfs yarn等。

第二个数据存储层，比如云存储，需掌握的技术有：hbase、hive、sqoop等。

比如：Hadoop作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心的存储引擎，已被广泛用于数据存储。HBase，是一个分布式的、面向列的开源数据库，可以认为是hdfs的封装，本质是数据存储、NoSQL数据库。

HBase是一种Key/Value系统，部署在hdfs上，克服了hdfs在随机读写这个方面的缺点，与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。

第三个是数据计算应用层，以数据为基础，为将来的移动社交、交通、教育，金融进行服务，涉及到大数据架构设计阶段需掌握的技术有：Flume分布式、Zookeeper、Kafka等，以及大数据实时计算阶段需掌握的技术有：Mahout、Spark、storm。

顺便再谈一个大数据相关的岗位：

答者：IT人升职加薪进阶站 优知学院 (www.youzhixueyuan.com） 创始人陈睿|mikechen, 历任淘宝高级软件工程师、盛大架构师、百度研发经理、携程定制旅游CTO，分享职场、架构、CTO进阶经验和新技术趋势。

1、精通java基础知识

2、熟悉hadoop生态系统，并尝试搭建相关环境，熟悉mapredus编程

3、熟悉常用的linux命令，并掌握在linux下部署hadoop生态系统

数据分析师需要的技能大致有这些：Excel、SQL、统计学及SPSS、Python/R等。

建议从Excel开始，因为Excel是使用最多，也是最强大的数据分析工具，入门简单，因为大部分人都接触过Excel。

数据分析师需要的技能大致有这些：Excel、SQL、统计学及SPSS、Python/R等。建议从Excel开始，因为Excel是使用最多，也是最强大的数据分析工具，入门简单，因为大部分人都接触过Excel。

数据分析师需要的技能大致有这些：Excel、SQL、统计学及SPSS、Python/R等。

建议从Excel开始，因为Excel是使用最多，也是最强大的数据分析工具，入门简单，因为大部分人都接触过Excel。