Kafka集群搭建

IT那活儿发布于2023-01-11 13:19 / 2386人阅读

Kafka集群搭建

点击上方“IT那活儿”公众号，关注后了解更多内容，不管IT什么活儿，干就完了！！！

第一步

需要安装jdk和zookeeper，新版本的kafka应该是自带zookeeper的。

第二步

1. Kafka官网有其他版本的安装包。

Wget https://archive.apache.org/dist/kafka/2.1.1/kafka_2.11-2.1.1.tgz

2. 一般在根目录下创建data目录，下载在data中，下载完成之后解压：

tar -zxvf kafka_2.11-2.1.1.tgz

3. 解压之后，为了方便改一下名字：

mv kafka_2.11-2.1.1 kafka

4. 在kafka下创建一个data目录，用来存放kafka的数据：

Mkdir data

5. 开始修改配置文件 kafka/config/server.properties：

broker.id=1
listeners=PLAINTEXT://192.168.44.128:9092
log.dirs=/data/kafka/data
zookeeper.connect=192.168.44.128:2181,192.168.44.129:2181,192.168.44.130:2181

主要修改这四条就可以：

broker.id 需要保证每一台kafka都有一个独立的broker；
listeners = PLAINTEXT://当前虚拟机ip地址:9092；
log.dirs 数据存放的目录；
zookeeper.connect zookeeper的连接地址信息。

6. 配置完成后先不启动，将kafka拷贝到其他机器上，根目录下需要有data，其他机器只需要修改一下broke.id和listeners，然后启动所有kafka就可以了。

scp -r kafka root@192.168.44.129:/data
scp -r kafka root@192.168.44.130:/data

7. 每台机器启动kafka，要确保zookeeper已经启动了。

./bin/kafka-server-start.sh -daemon config/server.properties

验证：注意端口号。

8. 创建一个名称为test的Topic，3个分区，并且复制因子为3，执行如下命令：

./bin/kafka-topics.sh --create --zookeeper 192.168.44.128:2181,192.168.44.129:2181,192.168.44.130:2181 
--replication-factor 3 --partitions 3 --topic test

9. 查看创建的topic信息，进入kafka的bin目录下，执行如下命令：

./bin/kafka-topics.sh --describe --zookeeper 
192.168.44.128:2181,192.168.44.129:2181,192.168.44.130:2181 --topic test

10. 在其中一台服务器启动生产者(producer)：

./bin/kafka-console-producer.sh --broker-list 
192.168.44.128:9092,192.168.44.129:9092,192.168.44.130:9092 --topic test

11. 在任意议一台服务器启动消费者(consumer)，接受消息：

./bin/kafka-console-consumer.sh --broker-list 
192.168.44.128:9092,192.168.44.129:9092,192.168.44.130:9092 --topic test

12. 如果consumer服务器接收到producer服务器输入的内容，则启动集群成功。

执行生产者命令，在生产者命令窗口输入消息：

执行消费者命令，在消费者命令窗口显示消息：

END

本文作者：朱景锋

本文来源：IT那活儿（上海新炬王翦团队）

GPU云服务器云服务器 kafka集群搭建 kafka集群 kafka集群部署 kafka集群配置

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/129465.html

kafka集群搭建

摘要：什么是是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。高吞吐量即使是非常普通的硬件也可以支持每秒数百万的消息。 Introduction 什么是kafkaKafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户...

XUI 2019-08-15 12:02 评论0 收藏0
大数据入门指南（GitHub开源项目）

摘要：项目地址前言大数据技术栈思维导图大数据常用软件安装指南一分布式文件存储系统分布式计算框架集群资源管理器单机伪集群环境搭建集群环境搭建常用命令的使用基于搭建高可用集群二简介及核心概念环境下的安装部署和命令行的基本使用常用操作分区表和分桶表视图项目GitHub地址：https://github.com/heibaiying... 前言大数据技术栈思维导图大数据常用软件安装指...

guyan0319 2019-08-19 11:46 评论0 收藏0
kafka集群搭建

摘要：服务器基本信息地址安装服务环境信息安装三台主机上执行配置环境配置变量添加如下信息刷新配置文件安装三台主机上执行安装生成配置文件修改配置文件表示程序监听端口，表示选举通信端口。服务器基本信息 ip地址安装服务10.0.0.52 zookeeper-3.4.10、kafka2.10、kafka-manager10.0.0.53 zookeeper-3.4.10、kaf...

lpjustdoit 2019-08-16 13:48 评论0 收藏0