动态拓展flink集群计算节点

IT那活儿发布于2023-01-11 13:19 / 1497人阅读

动态拓展flink集群计算节点

点击上方“IT那活儿”公众号，关注后了解更多内容，不管IT什么活儿，干就完了！！！

近期由于flink集群的CPU总核数限制，flink集群已经没有看可用的slot资源，无法继续在集群上新增flink任务，所以需要横向拓展flink集群的计算节点。

目前flink的部署模式是flink on yarn，所以只用动态拓展现有的hadoop集群的数据节点即可。

设置主机环境

#修改主机名称

hostnamectl set-hostname ***

#修改用户环境变量

# for hadoop
export HADOOP_HOME=/home/shsnc/domp-product/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export YARN_CONF_DIR=$HADOOP_CONF_DIR
export HADOOP_CLASSPATH=`hadoop classpath`

设置完成后:

#重新加载用户环境配置文件:

source .bash_profile

修改所有主机的/etc/hosts文件,加入新加入机器的IP和主机名，新加入主机的/etc/hosts文件中加入所有主机的IP和主机名.

配置免密登录

此处不做额外说明.

安装并配置hadoop

#修改hadoop的slaves配置，添加所有的主机节点IP地址.

vi /home/shsnc/domp-product/hadoop/etc/hadoop/slaves

#在现有的hadoop集群上，将hadoop打包，并排除数据目录和日志目录.

tar -Pczvf /home/shsnc/domp-product.tar.gz /home/shsnc/domp-
product/* --exclude=/home/shsnc/domp-product/hadoop/data --
exclude=/home/shsnc/domp-product/hadoop/logs

#利用scp将打包后的文件传输到即将加入集群的主机中.

scp domp-product.tar.gz ***@***:./domp-product/

#到目标服务器中解压文件.

tar -xzvf domp-product.tar.gz

至此完成hadoop组件的安装，接下来需要修改配置文件:

1) 修改core-site.xml

<property>
<name>fs.default.namename>
<value>hdfs://主节点主机名:服务端口value>
property>

2) 修改yarn-site.xml

<property>
<name>yarn.timeline-service.hostnamename>
<value>主节点主机名value>
property>
<property>
<name>yarn.log.server.urlname>
<value>http://主节点主机名:服务端口/jobhistory/logs/value>
property>
<property>
<name>yarn.resourcemanager.webapp.addressname>
<value>主节点主机名:服务端口value>
property>
<property>
<name>yarn.nodemanager.addressname>
<value>当前节点主机名:服务端口value>
property>

启动新节点上的datanode和nodemanager服务

#启动服务:

./hadoop-deamon.sh start datanode
./yarn-deamon.sh start nodemanager

启动datanode时，可能报错VERSION版本不对，需要修改新增节点的VERSION.

vi /home/shsnc/domp-product/hadoop/data/hdfs/datanode/current/VERSION

将VERSION文件中的clusterID修改为和原集群一样后，重启datanode.

刷新并调整集群状态

#刷新数据节点，将新节点加载到集群中:

hadoop/bin/hdfs refreshNodes

#查看节点数量，节点数量从5变为8，证明节点已经纳入集群中.

hdfs fsck /

#平衡节点数据:

start-balancer.sh

#查看所有节点信息:

hdfs dfsadmin -report

以上就完成了整个集群的动态拓展！

本文作者：胡京康（上海新炬王翦团队）

本文来源：“IT那活儿”公众号

GPU云服务器云服务器云计算服务器集群动态智能扩展阿里云双11实时计算 Flink组团优惠阿里云双11实时计算 Flink有折扣吗集群节点的启动内存

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/129304.html

Flink 灵魂两百问，这谁顶得住？

摘要：由于配置流是从关系型数据库中读取，速度较慢，导致实时数据流流入数据的时候，配置信息还未发送，这样会导致有些实时数据读取不到配置信息。从数据库中解析出来，再去统计近两周占比。 Flink 学习 https://github.com/zhisheng17/flink-learning 麻烦路过的各位亲给这个项目点个 star，太不易了，写了这么多，算是对我坚持下来的一种鼓励吧！ showI...

Guakin_Huang 2019-08-19 10:11 评论0 收藏0
Flink 全网最全资源（视频、博客、PPT、入门、实战、源码解析、问答等持续更新）

摘要：由于配置流是从关系型数据库中读取，速度较慢，导致实时数据流流入数据的时候，配置信息还未发送，这样会导致有些实时数据读取不到配置信息。从数据库中解析出来，再去统计近两周占比。 showImg(https://segmentfault.com/img/remote/1460000019367651); Flink 学习项目代码 https://github.com/zhisheng17/f...

Dr_Noooo 2019-08-16 17:50 评论0 收藏0
UCloud一站式智能大数据平台USDP免费版正式发布！

摘要：企业微信截图企业微信截图兼容最广的一站式智能大数据平台涵盖了等众多开源大数据组件，支持对这些组件进行运维中台建设数据开发业务可视化等全栈式大数据开发运维管理。通过一站式智能大数据平台支持的等分布式运算框架，可以高效的进行机器学习应用开发。背景在大数据业务系统中，所有技术栈生态均是围绕着存储进行扩展的，目前开源的主流存储技术栈主要包含如下 3 种类型：· HDFS：Hadoop 系列套件，包含...

Tecode 2022-06-28 19:00 评论0 收藏0
UCloud发布一站式智能大数据平台USDP免费版附USDP资源下载地址

摘要：机器学习机器学习通过算法对大量数据进行分析，挖掘出其中蕴含的规律，并用于事物预测或者分类，有大量的计算需求。通过一站式智能大数据平台支持的等分布式运算框架，可以高效的进行机器学习应用开发。在大数据业务系统中，所有技术栈生态均是围绕着存储进行扩展的，目前开源的主流存储技术栈主要包含如下 3 种类型：· HDFS：Hadoop 系列套件，包含 Hive、Hbase、Phoenix 等；· Ela...

Tecode 2022-06-28 19:00 评论0 收藏0
《从0到1学习Flink》—— Apache Flink 介绍

摘要：扩展库还包括用于复杂事件处理，机器学习，图形处理和兼容性的专用代码库。事件时间机制使得那些事件无序到达甚至延迟到达的数据流能够计算出精确的结果。负责接受用户的程序代码，然后创建数据流，将数据流提交给以便进一步执行。 showImg(https://segmentfault.com/img/remote/1460000016902812); 前言 Flink 是一种流式计算框架，为什么我...

flyer_dev 2019-08-16 13:36 评论0 收藏0