返回 导航

Docker / K8s

hangge.com

Docker - 使用kafka-lenses一键搭建Kafka环境套件1(安装配置、基本用法)

作者:hangge | 2021-05-24 08:10
通常搭建 Kafka 环境时,我们需要分别搭建 ZooKeeper 服务、Kafka 服务、Kafka 监控组件(如 Kafka EagleKafka Monitor),甚至各种 kafka connector 等等,十分费时。 而使用 docker 搭建 kafka-lenses 后,便包含了所有功能,这对平时开发使用来说十分友好。

一、安装配置

1,基本介绍

  • Lenses Apache Kafka 的流式数据管理平台,它是 Kafka 的一个商用套件,它自带了Apache KafkaKafka ConnectZookeeperConfluent Schema RegistryConfluent REST Proxy 以及几个 lenses 开源的管理 ui 界面 kafka-topics-uischema-registry-uikafka-connect-ui,还包含了 30 多种 kafka connector,大大减少了我们安装部署的工作量。
  • Lenses 也提供的开源版本,该开源版本同样包含超多组件,ZooKeeper 服务、Kafka 服务、Kafka 监控组件、30 多种 kafka connector 一个都不少。

2,下载镜像

首先我们执行如下命令拉取 Lenses 的开源版本镜像:
docker pull lensesio/fast-data-dev

3,启动容器

(1)接着执行如下命令启动容器:
注意:
  • 192.168.60.165 改为实际宿主机器的 IP 地址,如果不这么设置,可能会导致在别的机器上访问不到 kafka
  • -v /home/kafka-lenses:/data 表示将宿主机的 /home/kafka-lenses 目录挂载至容器内 /data 目前,保证容器重启后数据能够持久化不会丢失。
docker run -d --name kafka-lenses -p 2181:2181 -p 3030:3030 -p 8081:8081 -p 8082:8082 -p 8083:8083 -p 9092:9092 -v /home/kafka-lenses:/data -e ADV_HOST=192.168.60.165 lensesio/fast-data-dev

(2)容器启动后,使用浏览器访问 http://ip:3030 ,即可看到下图界面则说明启动成功:
注意:其中 CONNECTORS 面版可能会一直显示还在加载中,不用着急,多等待一段时间即可。

4,执行命令

(1)首先执行如下命令进入容器:
docker exec -it kafka-lenses /bin/bash

(2)接着执行如下命令创建一个名为 test_topictopic
kafka-topics --zookeeper 127.0.0.1:2181 --create --topic test_topic --partitions 3 --replication-factor 1

(3)创建后执行如下命令开启一个生产者,启动后可以直接在控制台中输入消息来发送,控制台中的每一行数据都会被视为一条消息来发送。:
kafka-console-producer --broker-list 127.0.0.1:9092 --topic test_topic

(4)重新再打开一个终端连接服务器,然后进入容器后执行如下命令开启一个消费者:
kafka-console-consumer --bootstrap-server 127.0.0.1:9092 --topic test_topic

(5)再次打开之前的消息生产客户端来发送消息,并观察消费者这边对消息的输出来体验 Kafka 对消息的基础处理。
评论

全部评论(0)

回到顶部