本文通过一个 MQTT Source 的样例,即订阅 MQTT 指定主题消息,并将消息写入到 Kafka 指定主题中,演示如何在 K8s 集群下安装使用 Kafka Connnect。 五、Kafka Connect 的安装使用 1,制作自定义的 Kafka Connect 镜像 由于不同项目的业务需求不同......
前文演示了如何使用 Strimzi 快速搭建一个单节点的 Kafka 环境,本文接着演示如何搭建多节点的 Kafka 集群环境,以及如何实现从 K8s 集群外部访问 Kafka 服务。首先我们准备一个 K8s 集群,并安装好 strimzi kafka operator,具体操作参考我上篇文章......
我之前写过一篇文章介绍如何在 K8s下部署 Kafka 集群,但这种手动的方式略显繁琐。本文介绍另一种更简单的方式:使用 Strimzi Operator 来快速部署以一套 Kafka 集群环境。 一、安装配置 1,基本介绍 Strimzi 目前是 CNCF 的一个 sandbox 级别项目......
本文演示如何在 K8s下部署 Kafka 集群,并且搭建后除了可以从 K8s 内部访问 Kafka 服务,也支持从 K8s 集群外部访问 Kafka 服务。服务的集群部署通常有两种方式:一种是 StatefulSet,另一种是 Service&Deployment。本次我们使用 StatefulSet 方式搭建 ZooKeeper 集群,使用 Service&Deployment 搭建 Kafka 集群......
六月头条:Python 直逼排行榜第一位置 Python 即将成为 TIOBE 排行榜第一名,它与目前榜首的 C 语言差距仅 0.7%。因此,在高速的发展趋势下,Python 在不久的将来或将超越 C 语言成为榜单的第一名。下个月是 TIOBE 20周年纪念日。在这 20 年中仅有 C 语言和 Java 这 2 种编程语言登过榜首......
OOM,全称“Out Of Memory”。当 JVM 内存严重不足时,就会抛出 java.lang.OutOfMemoryError 错误。而 JVM dump 文件则是定位内存泄漏等 OOM 问题的关键证据,下面通过样例演示如果生成这个文件。 方式一:让 JVM 碰到 OOM 场景时自动输出 dump 信息......
使用 WebLogic 作为 Web 容器时,有时我们需要修改默认的 JVM 启动参数(如堆栈大小等),这个在它们的启动脚本中进行设置即可。 (1)Windows 系统下修改 user_projects\domains\base_domain\bin 下的 setDomainEnv.cmd 文件......
有时我们程序中的 Kafka 消费者或生产者并不是一开始就定好的,而是需要在程序运行过程中根据情况(比如从数据库读取配置)动态地创建多个消费者、消费者分组(consumer group)进行数据消费,或者动态创建多个生产者(KafkaTemplate)往不同的目标地址生产数据......
在项目中,有时我们需要能根据当前环境,动态的激活和切换一系列组件,这个借助 Spring 提供的 @Profile 注解即可实现,下面通过样例进行演示。 1,基本介绍 (1)@Profile 注解的作用是指定组件在哪个环境的情况下才能被注册到容器中,若不指定,任何环境下都能注册这个组件......
MongoDB 是一个基于分布式文件存储的数据库。我在之前写过文件介绍如何使用官方提供的安装包进行 MongoDB 数据库的安装,本文介绍另一种方式:通过 Docker 来快速搭建 MongoDB 数据库环境。 1,拉取镜像 首先执行如下命令将镜像下载到本地......