Flink1.11.1的StandaloneSessionClusterEntrypoint模式部署

IT那活儿发布于2023-01-11 13:20 / 3337人阅读

点击上方蓝字关注我们

环境

三台机器，ip为103、104、105，主节点为103，其它为从节点

环境信息主机如下表格：

JobManager/ TaskManager	TaskManager	TaskManager
192.168.199.103/bigdata-04	192.168.199.104/bigdata-05	192.168.199.105/bigdata-06
Master/Slave	Slave	Slave

安装

首先下载Flink安装压缩包

Flink下载：

https://flink.apache.org/downloads.html

https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.11.1/flink-1.11.1-bin-scala_2.11.tgz

下载完成后放到103主节点机器的/home/gpadmin/目录下，并解压安装，该文件是可以拿来就用的，所以解压完就可以了

解压安装：

tar -zvxf flink-1.11.1-bin-scala_2.11.tgz -C /home/gpadmin/

cd /home/gpadmin/

ln -sv flink-1.11.1/ flink

配置

flink-conf.yaml

修改flink/conf/flink-conf.yaml文件：

jobmanager.rpc.address:bigdata-04

jobmanager.rpc.port:6123

jobmanager.heap.size:1024m

taskmanager.heap.size:1600m

taskmanager.numberOfTaskSlots:8

parallelism.default:1

masters

修改flink/conf/masters

bigdata-04:8081

slaves

修改flink/conf/slaves

bigdata-04

bigdata-05

bigdata-06

下发

分发文件以及配置到其它两台机器

scp-r /home/gpadmin/flink bigdata-05:/home/gpadmin/flink

scp-r /home/gpadmin/flink bigdata-06:/home/gpadmin/flink

启动

进入主节点/flink/bin

./start-cluster.sh

进入UI界面

http://192.168.199.103:8081

UI界面提交作业

点击SubmitNew Job 功能，然后添加jar包

添加完成后，输入主程序的路径，及并发等提交作业即可看到任务正在运行

通过TaskManager找到任务的控制台，可以看到输出

UI停止作业

至此，Flink安装部署1.11.1StandaloneSessionClusterEntrypoint模式部署，以及UI界面提交jar包和作业模式、停止作业等就全部完成了。

END

云服务器 GPU云服务器云计算的部署模式云计算部署模式云服务器部署模式云计算的模式是业务模式

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/129980.html

架构师必收藏的干货！！！

摘要：一微服务概念微服务体系结构由轻量级松散耦合的服务集合组成。每个服务都有自己的计划测试发布部署扩展集成和独立维护。团队不必因为过去的技术决定而受到惩罚。用在这里是指将相关的服务通过聚合器聚合在一起，这个聚合器就是门面。微服务架构现在是谈到企业应用架构时必聊的话题，微服务之所以火热也是因为相对之前的应用开发方式有很多优点，如更灵活、更能适应现在需求快速变更的大环境。一、微服务概念微服...

shiweifu 2019-08-16 17:12 评论0 收藏0
Vue-项目从本地搭建到线上部署（wǒ shì biaō tí dǎng）

摘要：放置在目录下或通过绝对路径被引用。对于相关来说，我们推荐使用而不是直接链式指定。在不更改配置文件的情况下，前端页面迭代发布，不需要重启服务。作者：gauseen 0. 关于 Vuejs 简介：Vue (读音 /vjuː/，类似于 view) 是一套用于构建用户界面的渐进式框架，易用、灵活、高效。生态系统项目介绍 awesome-vue Vue.js 相关很棒的...

Arno 2019-08-26 13:49 评论0 收藏0
基于Docker运行弹性集群的五个关键点之：运行高可用模式

摘要：当企业的运维团队去维护一个弹性的容器集群时，传统的软件部署方式需要向容器迁移，这个过程中需要有风险预判和规避之道。但是这样会有些问题，就是大部分镜像都是基于构建的，这会和树莓派的很不兼容。多次尝试后状态被破坏删库重试，重启大法好。当前技术世界的发展形势就是让开发人员从繁琐的应用配置和管理中解放出来，使用容器镜像来处理复杂的程序运行依赖库的需求，保证代码运行环境的一致性。既然这样的好处...

antz 2019-06-28 15:27 评论0 收藏0
去 IOE 的本质不是 PR 砸场，而是云端再造

摘要：到了移动互联网时代，新兴业务很明显的一个要求就是需要弹性和敏捷，这种问题称为敏态的问题。本次青云发布的三款产品，基本上都是去面对稳态问题的解决方案。因此，青云在云端交付的分离模式解决方案就必须解决上述问题。「青云一直有一个目标，就是要建立一朵更好的云，全模云的推出也标志着我们在实现这个目标上往前走了一大步。」本文由青云QingCloud CTO 甘泉的演讲内容整理而来，共 2628 ...

wangdai 2019-06-28 10:53 评论0 收藏0
去 IOE 的本质不是 PR 砸场，而是云端再造

摘要：到了移动互联网时代，新兴业务很明显的一个要求就是需要弹性和敏捷，这种问题称为敏态的问题。本次青云发布的三款产品，基本上都是去面对稳态问题的解决方案。因此，青云在云端交付的分离模式解决方案就必须解决上述问题。「青云一直有一个目标，就是要建立一朵更好的云，全模云的推出也标志着我们在实现这个目标上往前走了一大步。」本文由青云QingCloud CTO 甘泉的演讲内容整理而来，共 2628 ...

tuniutech 2019-06-24 17:55 评论0 收藏0
把「策略模式」应用到实际项目中

摘要：阅读原文把策略模式应用到实际项目中无论你知不知道这个设计模式，但必定在项目中都似曾相识。文件存储的方式不同，同时文件的获取和删除也不同保存，获取，删除后的响应也是相同的，也不考虑了。此时引入是解决问题的最佳方式。阅读原文：把「策略模式」应用到实际项目中无论你知不知道这个设计模式，但必定在项目中都似曾相识。倘若仅仅聊理论必然枯燥乏味，只有理论和实战相结合方可达到人剑合一的境界。首先...

LeviDing 2019-08-16 16:57 评论0 收藏0