资讯专栏INFORMATION COLUMN

Elasticsearch集群分布式模型及选主与脑裂问题

IT那活儿 / 2433人阅读
Elasticsearch集群分布式模型及选主与脑裂问题


ES分布式特性

Elasticsearch的分布式架构的好处:

1. 天生支持存储的水平扩容,支持PB级数据。

2. 提高系统的可用性,部分节点停止服务,整个集群的服务不受影响。Elasticsearch的分布式架构中不同的集群通过不同的名字来区分,默认名字“elasticsearch”可以通过配置文件修改,或者在命令行中

-E cluster.name=your cluster name进行设定。


 节点

节点是一个Elasticsearch的实例,其本质上就是一个JAVA进程,一台机器可以运行多个Elasticsearch进程,但是生产环境一般建议一台机器上就运行一个Elasticsearch实例。

每一个节点都有名字,通过配置文件配置,或者启动时候通过

-E node.name=your node name指定。

每一个节点在启动之后,会分配一个UID,保存在data目录下。


Coordinating Node

处理请求的节点,叫Coordinating Node。路由请求到正确的节点,例如创建索引的请求,需要路由到Master节点。所有节点默认都是Coordinating Node,在生产环境中建议通过将其他类型设置成False,使其成为Dedicated Coordinating Node。


Data Node

可以保存数据的节点,叫做Data Node。节点启动后,默认就是数据节点。可以设置node.data:false禁止。

Data Node的职责:保存分片数据。在数据扩展上起到了至关重要的作用(由Master Node决定如何把分片分发到数据节点上)。通过增加数据节点可以解决数据水平扩展和解决数据单点问题。


Master Node

Master Node的职责:处理创建,删除索引等请求/决定分片被分配到哪个节点/负责索引的创建与删除;维护并且更新Cluster State。

Master Node的最佳实践:Master节点非常重要,在部署上需要考虑解决单点的问题,为一个集群设置多个Master 节点/每个节点只承担 Master的单一角色。


Master Eligible Nodes&选主流程

一个集群,支持配置多个Master Eligible节点。这些节点可以在必要时(如Master节点出现故障,网络故障时)参与选主流程,成为Master节点。

每个节点启动后,默认就是一个Master eligible节点

可以设置node.master: false 禁止

当集群内第一个Master eligible节点启动时候,它会将自己选举成Master节点。


集群状态

集群状态信息(Cluster State),维护了一个集群中,必要的信息。比如所有的节点信息、所有的索引和其相关的Mapping 与Setting 信息、分片的路由信息。

在每个节点上都保存了集群的状态信息,但是只有Master节点才能修改集群的状态信息,并负责同步给其他节点,因为任意节点都能修改信息会导致Cluster State信息的不一致。


Master Eligible Nodes &选主的过程

在集群当中Master Eligible 节点会互相Ping 对方,Node ld低的会成为被选举的节点。

当其他节点加入集群,它不承担Master节点的角色,一旦发现被选中的主节点丢失,就会选举出新的Master节点。


脑裂问题

Split-Brain,分布式系统的经典网络问题,当出现网络问题,一个节点和其他节点无法连接;Node 2和Node 3会重新选举Master,Node 1自己还是作为Master,组成一个集群,同时更新Cluster State,导致2个master,维护不同的 cluster state,当网络恢复时,无法选择正确恢复。


如何避免脑裂问题

限定一个选举条件,设置 quorum(仲裁),只有在Master eligible 节点数大于quorum时,才能进行选举;Quorum = (master节点总数/2)+1。

当3个master eligible时,设置discovery.zen.minimum_master_nodes为2,即可避免脑裂。

从Elasticsearch7.0版本开始,无需这个配置

移除minimum_master_nodes参数,让Elasticsearch自己选择可以形成仲裁的节点。典型的主节点选举现在只需要很短的时间就可以完成。集群的伸缩变得更安全、更容易,并且可能造成丢失数据的系统配置选项更少了。节点更清楚地记录它们的状态,有助于诊断为什么它们不能加入集群或为什么无法选举出主节点。


配置节点类型

—个节点默认情况下是一个Master eligible,data and ingest node:


END


更多精彩干货分享

点击下方名片关注

IT那活儿

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/129772.html

相关文章

  • Elasticsearch布式一致性原理剖析(一)-节点篇

    摘要:摘要目前是最流行的开源分布式搜索引擎系统,其使用作为单机存储引擎并提供强大的搜索查询能力。前言分布式一致性原理剖析系列将会对的分布式一致性原理进行详细的剖析,介绍其实现方式原理以及其存在的问题等基于版本。相当于一次正常情况的新节点加入。 摘要: ES目前是最流行的开源分布式搜索引擎系统,其使用Lucene作为单机存储引擎并提供强大的搜索查询能力。学习其搜索原理,则必须了解Lucene,...

    genedna 评论0 收藏0
  • Elasticsearch布式一致性原理剖析(一)-节点篇

    摘要:摘要目前是最流行的开源分布式搜索引擎系统,其使用作为单机存储引擎并提供强大的搜索查询能力。前言分布式一致性原理剖析系列将会对的分布式一致性原理进行详细的剖析,介绍其实现方式原理以及其存在的问题等基于版本。相当于一次正常情况的新节点加入。 摘要: ES目前是最流行的开源分布式搜索引擎系统,其使用Lucene作为单机存储引擎并提供强大的搜索查询能力。学习其搜索原理,则必须了解Lucene,...

    lindroid 评论0 收藏0
  • 脑裂是什么?Zookeeper是如何解决的?

    摘要:本篇文章着重来给大家讲一下中的脑裂问题,以及是如果解决脑裂问题的。过半机制在领导者选举的过程中,如果某台获得了超过半数的选票,则此就可以成为了。就是为了防止脑裂。有痛点才有创新,一个技术肯定都是为了解决某个痛点才出现的。 什么是脑裂 脑裂(split-brain)就是大脑分裂,也就是本来一个大脑被拆分了两个或多个大脑,我们都知道,如果一个人有多个大脑,并且相互独立的话,那么会导致人体手...

    android_c 评论0 收藏0

发表评论

0条评论

IT那活儿

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<