Kafka 单机(集群)安装部署(自带zookeeper)

2022年9月15日13:16:33

背景:
kafka官网:http://kafka.apache.org/
kafka下载页面:http://kafka.apache.org/downloads
kafka配置快速入门:http://kafka.apache.org/quickstart
新版本的kafka自带有zookeeper,本篇文章记录使用自带zookeeper搭建kafka集群。

消息队列术语:

•Kafka将消息以topic为单位进行归纳。
•将向Kafka topic发布消息的程序成为producers.
•将预订topics并消费消息的程序成为consumer.
•Kafka以集群的方式运行,可以由一个或多个服务组成,每个服务叫做一个broker.
producers通过网络将消息发送到Kafka集群,集群向消费者提供消息,如下图所示:

客户端和服务端通过TCP协议通信。Kafka提供了Java客户端,并且对多种语言都提供了支持。

3.1.0 稳定版本下载地址:

https://www.apache.org/dyn/closer.cgi?path=/kafka/3.1.0/kafka_2.13-3.1.0.tgz

1、操作命令:

cd /usr/local/

tar -zxvf kafka_2.11-2.0.0.tgz  //解压 tar 包

rm -rf LICENSE NOTICE site-docs  //删除 LICENSE、NOTICE 、site-docs

2、启动zookeeper

cd bin/

nohup ./zookeeper-server-start.sh ../config/zookeeper.properties  >>/var/tmp/kafka/zk.log 2>&1 &

jps               //查看启动成功

3、启动Kafka

nohup ./kafka-server-start.sh ../config/server.properties >>/var/tmp/kafka/kafka.log 2>&1 &

 4、停止Kafka 、zookeeper

./kafka-server-stop.sh   //先停kafka server

./zookeeper-server-stop.sh  //再停zookeeper

5、Kafka 使用

1)创建topic   pushu

./kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic pushu

2) 查询topic 是否OK

./kafka-topics.sh --list --bootstrap-server localhost:9092

 3)生产者

 ./kafka-console-producer.sh --broker-list  localhost:9092  --topic pushu

4)消费者

./kafka-console-consumer.sh --bootstrap-server localhost:9092  --topic pushu

 单机方式已验证OK,可以大胆的通过Python,Java,等Client方式对接使用。

6、集群方式

1)其他机器 安装Kafka

分别往192.168.10.66、192.168.10.88、192.168.10.99这三台虚拟机上安装kafka

2)配置server.properties

cd  /data/software/kafka_2.13-3.1.0/config

配置 broker.id 每个机器独立的ID

配置zookeeper集群端口

  3)集群配置完成,非常完美!

  • 作者:zhanzjx
  • 原文链接:https://blog.csdn.net/zhanzjx/article/details/123679453
    更新时间:2022年9月15日13:16:33 ,共 1511 字。