点击上方“IT那活儿”公众号,关注后了解更多内容,不管IT什么活儿,干就完了!!!
近期由于flink集群的CPU总核数限制,flink集群已经没有看可用的slot资源,无法继续在集群上新增flink任务,所以需要横向拓展flink集群的计算节点。
#修改主机名称
# for hadoop
export HADOOP_HOME=/home/shsnc/domp-product/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export YARN_CONF_DIR=$HADOOP_CONF_DIR
export HADOOP_CLASSPATH=`hadoop classpath`
修改所有主机的/etc/hosts文件,加入新加入机器的IP和主机名,新加入主机的/etc/hosts文件中加入所有主机的IP和主机名.
#修改hadoop的slaves配置,添加所有的主机节点IP地址.
vi /home/shsnc/domp-product/hadoop/etc/hadoop/slaves
tar -Pczvf /home/shsnc/domp-product.tar.gz /home/shsnc/domp-
product/* --exclude=/home/shsnc/domp-product/hadoop/data --
exclude=/home/shsnc/domp-product/hadoop/logs
scp domp-product.tar.gz ***@***:./domp-product/
tar -xzvf domp-product.tar.gz
<property>
<name>fs.default.namename>
<value>hdfs://主节点主机名:服务端口value>
property>
<property>
<name>yarn.timeline-service.hostnamename>
<value>主节点主机名value>
property>
<property>
<name>yarn.log.server.urlname>
<value>http://主节点主机名:服务端口/jobhistory/logs/value>
property>
<property>
<name>yarn.resourcemanager.webapp.addressname>
<value>主节点主机名:服务端口value>
property>
<property>
<name>yarn.nodemanager.addressname>
<value>当前节点主机名:服务端口value>
property>
#启动服务:
./hadoop-deamon.sh start datanode
./yarn-deamon.sh start nodemanager
vi /home/shsnc/domp-product/hadoop/data/hdfs/datanode/current/VERSION
将VERSION文件中的clusterID修改为和原集群一样后,重启datanode.
#刷新数据节点,将新节点加载到集群中:
hadoop/bin/hdfs refreshNodes
hdfs fsck /
#平衡节点数据:
start-balancer.sh
#查看所有节点信息:
hdfs dfsadmin -report
以上就完成了整个集群的动态拓展!
文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。
转载请注明本文地址:https://www.ucloud.cn/yun/129304.html
摘要:由于配置流是从关系型数据库中读取,速度较慢,导致实时数据流流入数据的时候,配置信息还未发送,这样会导致有些实时数据读取不到配置信息。从数据库中解析出来,再去统计近两周占比。 Flink 学习 https://github.com/zhisheng17/flink-learning 麻烦路过的各位亲给这个项目点个 star,太不易了,写了这么多,算是对我坚持下来的一种鼓励吧! showI...
摘要:由于配置流是从关系型数据库中读取,速度较慢,导致实时数据流流入数据的时候,配置信息还未发送,这样会导致有些实时数据读取不到配置信息。从数据库中解析出来,再去统计近两周占比。 showImg(https://segmentfault.com/img/remote/1460000019367651); Flink 学习项目代码 https://github.com/zhisheng17/f...
摘要:企业微信截图企业微信截图兼容最广的一站式智能大数据平台涵盖了等众多开源大数据组件,支持对这些组件进行运维中台建设数据开发业务可视化等全栈式大数据开发运维管理。通过一站式智能大数据平台支持的等分布式运算框架,可以高效的进行机器学习应用开发。背景在大数据业务系统中,所有技术栈生态均是围绕着存储进行扩展的,目前开源的主流存储技术栈主要包含如下 3 种类型:· HDFS:Hadoop 系列套件,包含...
摘要:机器学习机器学习通过算法对大量数据进行分析,挖掘出其中蕴含的规律,并用于事物预测或者分类,有大量的计算需求。通过一站式智能大数据平台支持的等分布式运算框架,可以高效的进行机器学习应用开发。在大数据业务系统中,所有技术栈生态均是围绕着存储进行扩展的,目前开源的主流存储技术栈主要包含如下 3 种类型:· HDFS:Hadoop 系列套件,包含 Hive、Hbase、Phoenix 等;· Ela...
摘要:扩展库还包括用于复杂事件处理,机器学习,图形处理和兼容性的专用代码库。事件时间机制使得那些事件无序到达甚至延迟到达的数据流能够计算出精确的结果。负责接受用户的程序代码,然后创建数据流,将数据流提交给以便进一步执行。 showImg(https://segmentfault.com/img/remote/1460000016902812); 前言 Flink 是一种流式计算框架,为什么我...
阅读 1346·2023-01-11 13:20
阅读 1684·2023-01-11 13:20
阅读 1132·2023-01-11 13:20
阅读 1858·2023-01-11 13:20
阅读 4099·2023-01-11 13:20
阅读 2704·2023-01-11 13:20
阅读 1385·2023-01-11 13:20
阅读 3594·2023-01-11 13:20