Spark History Server配置

wfc_666 发布于2019-06-28 10:35 / 2344人阅读

摘要：本文是对于自己编译的部署，如果是集成的则可直接在管理界面中查看。在中创建一个目录，用于保存运行日志信息。配置，使从此目录中读取日志信息其中保存日志相关信息的路径，可以是开头的路径，也可以是开头的本地路径，都需要提前创建。

本文是对于自己编译的Spark部署，如果是CDH集成的Spark则可直接在管理界面中查看。

1.在hdfs中创建一个目录，用于保存Spark运行日志信息。

]$ hdfs dfs -mkdir /spark/historylog

2.配置spark conf，使Spark History Server从此目录中读取日志信息

]$ vim spark-defaults.conf
spark.eventLog.compress          true
spark.eventLog.dir               hdfs://nameservice1/spark/historylog
spark.yarn.historyServer.address hadoop002:18080

其中spark.eventLog.dir保存日志相关信息的路径，可以是hdfs://开头的HDFS路径，也可以是file://开头的本地路径，都需要提前创建。

3.添加环境参数

]$ vim spark-env.sh
    export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://mycluster/spark/historylog 
    -Dspark.history.ui.port=18080 
    -Dspark.history.retainedApplications=20"

4.启动服务

]# ./sbin/start-history-server.sh

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/25103.html

Spark的安装及配置

摘要：本文作者本文链接安装说明在安装之前，需要安装集群环境，如果没有可以查看分布式集群的搭建用到的软件软件版本下载地址节点安排名称主节点子节点子节点安装解压到安装目录修改配置文件配置文件位于目录下。本文作者：foochane 本文链接：https://foochane.cn/article/2019051904.html 1 安装说明在安装spark之前，需要安装hadoop集群环境，...

lunaticf 2019-07-24 10:56 评论0 收藏0
hue 3.12 安装及组件配置

摘要：安装示例基于安装安装前需要安装大量的软件和包，因为和必须的依赖包安装中依赖包所需依赖包依赖包致命错误找不到的问题解决没有那个文件或目录没有那个文件或目录依赖包的安装这边没有分先后顺序基本都会使 Hue 安装示例基于Centos7安装Hue,安装前需要安装大量的软件和包，因为python和c必须的依赖包安装Centos7中Hue依赖包 yum install ant gcc g++...

itvincent 2019-05-28 17:08 评论0 收藏0