摘要:本章内容主要讲的是集群搭建相关的知识。在集群模式下,最少需要三个节点。并且官方推荐你使用奇数数量的节点来组成集群。这个值必须是集群中唯一的。在确认每台服务器上的和文件修改创建之后,在三个节点上分别执行命令,启动。
前言
同道们,好久不见,上一章中,我主要讲了Zookeeper的一些基础的知识点。数据模型 + 原语集 + Watches机制。本章内容主要讲的是集群搭建相关的知识。
本篇的内容主要包含以下几点:
Zookeeper 运行模式
Zookeeper 搭建
一、Zookeeper 运行模式Zookeeper 有两种运行模式,单点模式和集群模式。
单点模式(standalone mode)- Zookeeper 只运行在单个服务器上,常用于开发测试阶段,这种模式比较简单,但是不能保证Zookeeper服务的高可用性和恢复性。
集群模式(replicated mode)- 英文原文这种模式叫做“复制模式”;这个模式下,Zookeeper运行于一个集群上,适合生产环境。
同一个集群下的server节点被称为quorum,翻译过来就是“一个正式会议的法定人数”,如果你看完下一章介绍的ZAB协议的两种模式之后,应该会觉得这个比喻实际上很形象。
NOTE: 在集群模式下,最少需要三个server节点。并且官方推荐你使用奇数数量的server节点来组成集群。至于为什么,和Zookeeper的读写策略和一致性协议有关,在后面的章节会介绍。二、Zookeeper 搭建 单点模式
使用过zookeeper的同学们应该知道,启一个zookeeper server 非常简单,如果是单点模式,只需要以下步骤:
去官网下载对应源码压缩包,然后上传到服务器
解压,tar -zxvf zookeeper-***.tar.gz
进入到源码目录下的conf目录,根据zoo_sample.cfg,创建一个配置文件zoo.cfg,启动时默认就是按照zoo.cfg这个配置文件的信息来启动
# Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔, # 也就是每个 tickTime 时间就会发送一个心跳。 tickTime=2000 # Zookeeper 保存数据的目录 dataDir=/data/zk/data # Zookeeper 保存日志文件的目录 dataLogDir=/data/zk/log # 客户端连接Zookeeper 服务器的端口 # Zookeeper 会监听这个端口,接受客户端的访问请求 clientPort=2181
进入到源码目录下的bin目录,执行zkServer.sh脚本文件即可
# 启动 zkServer.sh start # 关闭 zkServer.sh stop
查看当前zookeeper 状态
[root@localhost bin]# sh zkServer.sh status ZooKeeper JMX enabled by default Using config: /opt/zookeeper-3.4.8/bin/../conf/zoo.cfg Mode: standalone
Mode:standalone可以看到现在的节点启动类型。
集群搭建集群模式的搭建和单点模式的差别不大,如果按照官方的最低要求,就是三台服务器,在这三台服务器上面分别执行一下上述单点模式的步骤,同一集群下的每台服务器的配置文件类似。
下面的描述会提到follower、leader节点,这个属于集群中的节点类型,具体定义后面章节会详述。
除了上述步骤中,还需要做一下步骤
每台机器上 conf/zoo.cfg 配置文件的参数设置,需要添加集群的信息,参考如下
tickTime=2000 dataDir=/data/zk/data dataLogDir=/data/zk/log clientPort=2181 # 集群相关配置 # 允许 follower 连接并同步到 leader 的初始化连接时间 # 比如这里就是允许 5个 tick 的时间 initLimit=5 # leader 与 follower 之间发送消息,请求和应答时间长度。 # 如果 follower 在设置的时间内不能与leader 进行通信,那么此 follower 将被丢弃。 # 比如这里就是允许 2个 tick 的时间 syncLimit=2 # 集群信息 server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888
server.id=host:port1:port2标识了不同Zookeeper服务器的信息,其中 id 是一个数字,表示这个是服务器的编号;host是这个服务器的 ip 地址;至于port1和port2参照官网的描述较为准确,网上有些文章都把端口的含义给弄混了。
Finally, note the two port numbers after each server name: " 2888" and "3888". Peers use the former port to connect to other peers. Such a connection is necessary so that peers can communicate, for example, to agree upon the order of updates. More specifically, a ZooKeeper server uses this port to connect followers to the leader. When a new leader arises, a follower opens a TCP connection to the leader using this port. Because the default leader election also uses TCP, we currently require another port for leader election. This is the second port in the server entry.最后,让我们来看看在server 名字后面的两个端口号:"2888"和"3888",Zookeeper 节点使用前面那个端口(port1)来与其他节点建立连接。这个连接是必须建立的,因为不同节点之间需要通信。打比方说,follower节点需要“赞成”leader节点的更新命令。更确切一点说,这个节点是用于follower节点和leader节点之间的通信。当一个leader节点出现了,follower节点会在port1上与leader节点建立一个TCP连接。因为默认的leader选举也是用TCP,我们现在就需要另一个端口来用于leader选举,这就是port2的作用。
简单来说,port1通信端口,port2选举端口。
在每个Zookeeper服务器对应的dataDir目录下需要创建一个名为myid的文件,这个文件中仅含有一行的内容,指定的是自身的 id 值,就是server.id=host:port1:port2中的id值。这个 id 值必须是集群中唯一的。
在确认每台服务器上的zoo.cfg和myid文件修改创建之后,在三个节点上分别执行命令zkServer.sh start,启动zookeeper server。
在三个节点上分别执行zkServer.sh status 查看当前节点的状态。
节点1
节点2
节点3
可以看到,目前节点2是leader节点,节点1和节点3是follower节点。
更详细的集群搭建可以参考这篇:ZooKeeper安装配置总结也可以参考官网相关文章:ZooKeeper Getting Started Guide
本章介绍了Zookeeper的两种运行模式,和两种模式的搭建。
下一章中,我们会介绍Zookeeper原理篇的进阶部分,有关于Zookeeper集群的读写机制、ZAB协议的知识解析等比较深入的知识点。
文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。
转载请注明本文地址:https://www.ucloud.cn/yun/77645.html
摘要:具有不可分割性即原语的执行必须是连续的,在执行过程中不允许被中断。提供服务主要就是通过数据结构原语集机制达到的。子节点的版本号数据节点版本号版本号创建该节点的会话的。后位则为递增序列。 前言 最近加入了部门的技术兴趣小组,被分配了Zookeeper的研究任务。在研究过程当中,发现Zookeeper由于其开源的特性和其卓越的性能特点,在业界使用广泛,有很多的应用场景,而这些不同的应用场景...
摘要:协议是为分布式协调服务专门设计的一种支持崩溃恢复的一致性协议,这个机制保证了各个之间的同步。选主是协议中最为重要和复杂的过程。以实际效果而言,分区相当于对通信的时限要求。参考官方文档阿里巴巴为什么不用做服务发现定理的含义阮一峰 前言 同学们,在上一章中,我们主要讲了Zookeeper两种启动模式以及具体如何搭建。本章内容主要讲的是集群相关的原理内容,第一章可以当做是Zookeeper原...
摘要:搭建系列环境搭建集群搭建集群环境搭建搭建集群环境搭建序对于个人开发者而言,学习分布式的好多东东,都比较费劲,因为手头的机器不够。本文主要是记录使用搭建集群的过程。鸣谢使用不同网络模型搭建集群这篇文章总结的很好有坑,没尝试成功 docker搭建系列 docker环境搭建zk集群 docker搭建redis集群 docker环境搭建elasticsearch docker搭建rabbit...
阅读 917·2021-11-24 09:39
阅读 3311·2021-10-27 14:20
阅读 2299·2019-08-30 14:08
阅读 3320·2019-08-29 16:34
阅读 2145·2019-08-26 12:14
阅读 2083·2019-08-26 11:54
阅读 2754·2019-08-26 11:44
阅读 2451·2019-08-26 11:38