摘要:本文作者本文链接安装说明在安装之前,需要安装集群环境,如果没有可以查看分布式集群的搭建用到的软件软件版本下载地址节点安排名称主节点子节点子节点安装解压到安装目录修改配置文件配置文件位于目录下。
本文作者:foochane1 安装说明
本文链接:https://foochane.cn/article/2019051904.html
在安装spark之前,需要安装hadoop集群环境,如果没有可以查看:Hadoop分布式集群的搭建
1.1 用到的软件软件 | 版本 | 下载地址 |
---|---|---|
linux | Ubuntu Server 18.04.2 LTS | https://www.ubuntu.com/downlo... |
hadoop | hadoop-2.7.1 | http://archive.apache.org/dis... |
java | jdk-8u211-linux-x64 | https://www.oracle.com/techne... |
spark | spark-2.4.3-bin-hadoop2.7 | https://www.apache.org/dyn/cl... |
scala | scala-2.12.5 | http://www.scala-lang.org/dow... |
Anaconda | Anaconda3-2019.03-Linux-x86_64.sh | https://www.anaconda.com/dist... |
名称 | ip | hostname |
---|---|---|
主节点 | 192.168.233.200 | Master |
子节点1 | 192.168.233.201 | Slave01 |
子节点2 | 192.168.233.202 | Slave02 |
$ tar zxvf spark-2.4.3-bin-hadoop2.7.tgz -C /usr/local/bigdata/ $ cd /usr/local/bigdata/ $ mv spark-2.4.3-bin-hadoop2.7 spark-2.4.32.2 修改配置文件
配置文件位于/usr/local/bigdata/spark-2.4.3/conf目录下。
(1) spark-env.sh将spark-env.sh.template重命名为spark-env.sh。
添加如下内容:
export SCALA_HOME=/usr/local/bigdata/scala export JAVA_HOME=/usr/local/bigdata/java/jdk1.8.0_211 export HADOOP_HOME=/usr/local/bigdata/hadoop-2.7.1 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop SPARK_MASTER_IP=Master SPARK_LOCAL_DIRS=/usr/local/bigdata/spark-2.4.3 SPARK_DRIVER_MEMORY=512M(2)slaves
将slaves.template重命名为slaves
修改为如下内容:
Slave01 Slave022.3 配置环境变量
在~/.bashrc文件中添加如下内容,并执行$ source ~/.bashrc命令使其生效
export SPARK_HOME=/usr/local/bigdata/spark-2.4.3 export PATH=$PATH:/usr/local/bigdata/spark-2.4.3/bin:/usr/local/bigdata/spark-2.4.3/sbin3 运行Spark
$ cd $HADOOP_HOME/sbin/ $ ./start-dfs.sh $ ./start-yarn.sh $ ./start-history-server.sh
$ cd $SPARK_HOME/sbin/ $ ./start-all.sh $ ./start-history-server.sh
要注意的是:其实我们已经配置的环境变量,所以执行start-dfs.sh和start-yarn.sh可以不切换到当前目录下,但是start-all.sh、stop-all.sh和/start-history-server.sh这几个命令hadoop目录下和spark目录下都同时存在,所以为了避免错误,最好切换到绝对路径下。
spark启动成功后,可以在浏览器中查看相关资源情况:http://192.168.233.200:8080/,这里192.168.233.200是Master节点的IP
4 配置Scala环境spark既可以使用Scala作为开发语言,也可以使用python作为开发语言。
4.1 安装Scalaspark中已经默认带有scala,如果没有或者要安装其他版本可以下载安装包安装,过程如下:
先下载安装包,然后解压
$ tar zxvf scala-2.12.5.tgz -C /usr/local/bigdata/
然后在~/.bashrc文件中添加如下内容,并执行$ source ~/.bashrc命令使其生效
export SCALA_HOME=/usr/local/bigdata/scala-2.12.5 export PATH=/usr/local/bigdata/scala-2.12.5/bin:$PATH
测试是否安装成功,可以执行如下命令:
scala -version Scala code runner version 2.12.5 -- Copyright 2002-2018, LAMP/EPFL and Lightbe4.2 启动Spark shell界面
执行 spark-shell --master spark://master:7077命令,启动spark shell。
hadoop@Master:~$ spark-shell --master spark://master:7077 19/06/08 08:01:49 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Setting default log level to "WARN". To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel). Spark context Web UI available at http://Master:4040 Spark context available as "sc" (master = spark://master:7077, app id = app-20190608080221-0002). Spark session available as "spark". Welcome to ____ __ / __/__ ___ _____/ /__ _ / _ / _ `/ __/ "_/ /___/ .__/\_,_/_/ /_/\_ version 2.4.3 /_/ Using Scala version 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_211) Type in expressions to have them evaluated. Type :help for more information. scala>5 配置python环境 5.1 安装python
系统已经默认安装了python,但是为了方便开发,推荐可以直接安装Anaconda,这里下载的是安装包是Anaconda3-2019.03-Linux-x86_64.sh,安装过程也很简单,直接执行$ bash Anaconda3-2019.03-Linux-x86_64.sh即可。
5.2 启动PySpark的客户端执行命令:$ pyspark --master spark://master:7077
具体如下:
hadoop@Master:~$ pyspark --master spark://master:7077 Python 3.6.3 |Anaconda, Inc.| (default, Oct 13 2017, 12:02:49) [GCC 7.2.0] on linux Type "help", "copyright", "credits" or "license" for more information. 19/06/08 08:12:50 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Setting default log level to "WARN". To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel). Welcome to ____ __ / __/__ ___ _____/ /__ _ / _ / _ `/ __/ "_/ /__ / .__/\_,_/_/ /_/\_ version 2.4.3 /_/ Using Python version 3.6.3 (default, Oct 13 2017 12:02:49) SparkSession available as "spark". >>> >>>
文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。
转载请注明本文地址:https://www.ucloud.cn/yun/36033.html
摘要:项目地址前言大数据技术栈思维导图大数据常用软件安装指南一分布式文件存储系统分布式计算框架集群资源管理器单机伪集群环境搭建集群环境搭建常用命令的使用基于搭建高可用集群二简介及核心概念环境下的安装部署和命令行的基本使用常用操作分区表和分桶表视图 项目GitHub地址:https://github.com/heibaiying... 前 言 大数据技术栈思维导图 大数据常用软件安装指...
阅读 3687·2021-11-24 09:39
阅读 2556·2019-08-30 15:54
阅读 1057·2019-08-30 13:01
阅读 3346·2019-08-28 18:30
阅读 1574·2019-08-26 17:44
阅读 3531·2019-08-26 11:31
阅读 2356·2019-08-26 10:40
阅读 1163·2019-08-26 10:27