大数据入门指南（GitHub开源项目）

guyan0319 发布于2019-08-19 11:46 / 899人阅读

摘要：项目地址前言大数据技术栈思维导图大数据常用软件安装指南一分布式文件存储系统分布式计算框架集群资源管理器单机伪集群环境搭建集群环境搭建常用命令的使用基于搭建高可用集群二简介及核心概念环境下的安装部署和命令行的基本使用常用操作分区表和分桶表视图

项目GitHub地址：https://github.com/heibaiying...

前言

大数据技术栈思维导图

大数据常用软件安装指南

一、Hadoop

分布式文件存储系统——HDFS

分布式计算框架——MapReduce

集群资源管理器——YARN

Hadoop单机伪集群环境搭建

Hadoop集群环境搭建

HDFS常用Shell命令

HDFS Java API的使用

基于Zookeeper搭建Hadoop高可用集群

二、Hive

Hive简介及核心概念

Linux环境下Hive的安装部署

Hive CLI和Beeline命令行的基本使用

Hive 常用DDL操作

Hive 分区表和分桶表

Hive 视图和索引

Hive常用DML操作

Hive 数据查询详解

三、Spark

Spark Core :

Spark简介

Spark开发环境搭建

弹性式数据集RDD

RDD常用算子详解

Spark运行模式与作业提交

Spark累加器与广播变量

基于Zookeeper搭建Spark高可用集群

Spark SQL :

DateFrame 和 DataSet

Structured API的基本使用

Spark SQL外部数据源

Spark SQL常用聚合函数

Spark SQL JOIN 操作

Spark Streaming ：

Spark Streaming 简介

Spark Streaming 基本操作

Spark Streaming 整合 Flume

Spark Streaming 整合 Kafka

四、Storm

Storm和流处理简介

Storm核心概念详解

Storm单机环境搭建

Storm集群环境搭建

Storm编程模型详解

Storm项目三种打包方式对比分析

Storm集成Redis详解

Storm集成HDFS/HBase

Storm集成Kafka

五、Flink

TODO

六、HBase

Hbase 简介

HBase系统架构及数据结构

HBase基本环境搭建(Standalone /pseudo-distributed mode)

HBase集群环境搭建

HBase常用Shell命令

HBase Java API

Hbase 过滤器详解

HBase 协处理器详解

HBase 容灾与备份

HBase的SQL中间层——Phoenix

Spring/Spring Boot 整合 Mybatis + Phoenix

七、Kafka

Kafka 简介

基于Zookeeper搭建Kafka高可用集群

Kafka 生产者详解

Kafka 消费者详解

深入理解Kafka副本机制

八、Zookeeper

Zookeeper 简介及核心概念

Zookeeper单机环境和集群环境搭建

Zookeeper常用Shell命令

Zookeeper Java 客户端——Apache Curator

Zookeeper ACL权限控制

九、Flume

Flume简介及基本使用

Linux环境下Flume的安装部署

Flume整合Kafka

十、Sqoop

Sqoop简介与安装

Sqoop的基本使用

十一、Azkaban

Azkaban简介

Azkaban3.x 编译及部署

Azkaban Flow 1.0 的使用

Azkaban Flow 2.0 的使用

十二、Scala

Scala简介及开发环境配置

基本数据类型和运算符

流程控制语句

数组——Array

集合类型综述

常用集合类型之——List & Set

常用集合类型之——Map & Tuple

类和对象

继承和特质

函数 & 闭包 & 柯里化

模式匹配

类型参数

隐式转换和隐式参数

十三、公共内容

大数据应用常用打包方式

后记

资料分享与开发工具推荐

项目GitHub地址：https://github.com/heibaiying...

托管Hadoop集群 USDP大数据平台大数据开源项目学习 GitHub 开源的小工具「GitHub webrtc开源程序github下载太慢入门大数据

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/77827.html

ApacheCN 编程/大数据/数据科学/人工智能学习资源 2019.6

摘要：请回复这个帖子并注明组织个人信息来申请加入。权限分配灵活，能者居之。数量超过个，在所有组织中排名前。网站日超过，排名的峰值为。导航归档社区自媒体平台微博知乎专栏公众号博客园简书合作侵权，请联系请抄送一份到赞助我们 Special Sponsors showImg(https://segmentfault.com/img/remote/1460000018907426?w=1760&h=...

Bmob 2019-06-26 19:01 评论0 收藏0
ApacheCN 编程/大数据/数据科学/人工智能学习资源 2019.5

摘要：请回复这个帖子并注明组织个人信息来申请加入。版笔记等到中文字幕翻译完毕后再整理。数量超过个，在所有组织中排名前。网站日超过，排名的峰值为。主页归档社区自媒体平台微博知乎专栏公众号博客园简书合作侵权，请联系请抄送一份到赞助我们 Special Sponsors showImg(https://segmentfault.com/img/remote/1460000018907426?w=1...

zhonghanwen 2019-06-26 18:55 评论0 收藏0
2018年最佳JavaScript数据可视化和图表库

摘要：它有什么图表加粗文字如何使用这个图表库可以通过存储库下载或通过包管理器安装。数据可以直接从文件加载到图表中。它有什么图表如何使用该库可在包管理器和他们自己的内容传送网络中使用。该库专为风格的数据可视化而设计，提供一系列高度可配置的图表。现在有很多图表库，但哪一个最好用？这可能取决于许多因素，如业务需求，数据类型，图表本身的目的等等。在本文中，每个JavaScript图表库将与一些关键...

terasum 2019-08-02 11:51 评论0 收藏0
2018年最佳JavaScript数据可视化和图表库

摘要：它有什么图表加粗文字如何使用这个图表库可以通过存储库下载或通过包管理器安装。数据可以直接从文件加载到图表中。它有什么图表如何使用该库可在包管理器和他们自己的内容传送网络中使用。该库专为风格的数据可视化而设计，提供一系列高度可配置的图表。现在有很多图表库，但哪一个最好用？这可能取决于许多因素，如业务需求，数据类型，图表本身的目的等等。在本文中，每个JavaScript图表库将与一些关键...

dreambei 2019-08-29 17:08 评论0 收藏0
2018年最佳JavaScript数据可视化和图表库

摘要：它有什么图表加粗文字如何使用这个图表库可以通过存储库下载或通过包管理器安装。数据可以直接从文件加载到图表中。它有什么图表如何使用该库可在包管理器和他们自己的内容传送网络中使用。该库专为风格的数据可视化而设计，提供一系列高度可配置的图表。现在有很多图表库，但哪一个最好用？这可能取决于许多因素，如业务需求，数据类型，图表本身的目的等等。在本文中，每个JavaScript图表库将与一些关键...

archieyang 2019-08-23 12:36 评论0 收藏0