BigData

BigData精品文章

• 

  Hadoop分布式集群的搭建

  ...为了方便操作每个节点，默认在/usr/local/下新建一个名为bigdata的文件夹，存放所有的大数据相关的软件。 $ sudo mkdir /usr/local/bigdata $ sudo chown -R hadoop:hadoop /usr/local/bigdata/ 4.1 解压 $ sudo mkdir /usr/local/bigdata/java $ sudo tar -...

  leon 2019-07-24 10:56 评论0 收藏0
• 

  Hadoop安装-Hadoop安装方法

  ...adoop的方法如下：首先在命令行输入以下代码mkdir/opt/bigdata tarxfhadoop-2.6.5.tar.gz-C/opt/bigdata/ cd/opt/bigdata/ ln-sfhadoop-2.6.5hadoop详细过程[root@node01~]#mkdir/opt/bigdata [root@node01~]#&n...

  白马啸西风 2022-09-07 15:20 评论0 收藏0
• 

  Spark的安装及配置

  ...压到安装目录 $ tar zxvf spark-2.4.3-bin-hadoop2.7.tgz -C /usr/local/bigdata/ $ cd /usr/local/bigdata/ $ mv spark-2.4.3-bin-hadoop2.7 spark-2.4.3 2.2 修改配置文件 配置文件位于/usr/local/bigdata/spark-2.4.3/conf目录下。 (...

  lunaticf 2019-07-24 10:56 评论0 收藏0
• 

  大数据开发系列五：kafka& zookeeper 配置kerberos认证

  ....1 创建principle添加用户kadmin.local -q addprinc -randkey zookeeper/bigdata-05@HADOOP.COMkadmin.local -q addprinc -randkey zookeeper/bigdata-01@HADOOP.COMkadmin.local -q addprinc -randkey zookeeper/data0...

  不知名网友 2023-01-11 11:02 评论0 收藏2694
• 

  Hive的安装及配置

  ...接Derby 2.1 解压 $ tar -zxvf apache-hive-2.3.5-bin.tar.gz -C /usr/local/bigdata & cd /usr/local/bigdata $ mv apache-hive-2.3.5-bin hive-2.3.5 $ sudo chown -R hadoop:hadoop hive #之前bigdata目录已经修改过权限了 2....

  v1 2019-07-24 10:56 评论0 收藏0
• 

  zookeeper的安装和使用

  ...e /tmp for storage, /tmp here is just # example sakes. dataDir=/usr/local/bigdata/data/zkdata # the port at which the clients will connect clientPort=2181 # the maximum number of client connection...

  alogy 2019-07-24 10:57 评论0 收藏0
• 

  java-study-bigdata-flink-网络资料-02-flink-wordcount

  flink word count 1、滑动窗口-wordcount ## 1.1 原理&code ## 原理： 代码：https://github.com/chengbingh... ## 1.2 测试 ## 本地测试 linux 上执行：nc -l 10101 运行main方法 提交到集群测试 1、伪分布式集群搭建下载：https://www.apache.org/dyn/cl.....

  jsdt 2019-08-16 13:46 评论0 收藏0
• 

  java-study-bigdata-flink-网络资料-03-flink-集群搭建

  Flink集群搭建 1、Standalone cluster 准备环境：机器：centos7-1（manager）, cenetos7-2(已经配置ssh免密登陆,关闭防火墙)jdk：jdk1.8flink:flink-1.6.1-bin-hadoop27-scala_2.11.tgz 1.1 flink 配置修改 配置jobmanager：FLINK_HOME/conf/flink-conf.y...

  bigdevil_s 2019-08-16 13:45 评论0 收藏0
• 

  java-study-bigdata-flink-网络资料-01-flink 基本原理和应用场景

  前言 flink 相关学习，资料来源于网络Flink中文社区：https://doc.flink-china.org/i...Flink官方网站：https://flink.apache.org/简书上的翻译：https://www.jianshu.com/u/e7c...教程：https://ke.qq.com/course/list... 1、Flink 简介 备注：迭代计算用于机器学...

  DandJ 2019-08-16 13:45 评论0 收藏0