一、基本介绍 1,什么是消息积压? 消息积压是指消息生产速率大于消费速率,所以消息会在 broker 上存放着。消息积压可能会导致消息要等很久才会被消费,这对于一些业务来说损害很大。特别是一些对消息消费时效性有要求的业务,几乎不能容忍任何程度的消息积压......
一、基本介绍 1,延迟队列 延迟队列是一种特殊的队列。它里面的每个元素都有一个过期时间: 当元素还没到过期时间的时候,如果我们试图从队列里面获取一个元素,我们会被阻塞。 当有元素过期的时候,我们就会拿到这个过期的元素。也可以这样想,我们拿到的永远是最先过期的那个元素......
在消息队列里面,有序消息是指消费者消费某个 topic 消息的顺序,和生产者生产消息的顺序一模一样,它也叫做顺序消息。我在之前的文章中提到 Kafka 并不能保证不同分区之间的顺序。也就是说,如果业务上有先后顺序的消息被发送到不同的分区上,那么我们难以确定哪一个消息会先被消费......
Sunshine + Moonlight 是一种开源的游戏远程串流解决方案,允许用户通过网络将游戏画面从 PC 或游戏主机串流到其他设备上,如智能手机、平板电脑或其他电脑。它基于 NVIDIA 的 GameStream 协议和 Moonlight 项目,使用户可以在局域网或互联网上进行游戏串流......
一、Consumer 的消费逻辑 (1)正常情况下,kafka 消费数据的流程是这样的: 先根据 group.id 指定的消费者组到 kafka 中查找之前保存的 offset 信息 如果查找到了,说明之前使用这个消费者组消费过数据,则根据之前保存的 offset 继续进行消费 如果没查找到......
1,数据通讯方式介绍 针对 producer 的数据通讯方式有同步发送和异步发送两种,它们区别如下: 同步发送:生产者发出数据后,等接收方发回响应以后再发送下个数据的通讯方式。 异步发送:生产者发出数据后,不等接收方发回响应,接着发送下个数据的通讯方式......
一年一度的大学百强排行榜又出来了,目前国内各个版本的大学排行榜中,软科、CNUR、武书连和校友会这四个版本的大学排名知名度较高,影响较大。本次展示软科和校友会这两个版本,高中同学们可以做个参考,已经毕业的就看个热闹吧。 一、软科版2024年大学排行榜 “软科中国大学排名”前身......
一、Kafka 优化 1,JVM 参数调优 (1)默认启动的 Broker 进程只会使用 1G 内存,在实际使用中可能会导致进程频繁 GC,影响 Kafka 集群的性能和稳定性。要判断是否需要调整内存分配的大小,首先通过 jps 命令查看 kafka 进程 id: (2)然后通过如下命令根据进程 id 查看 kafka 进程 GC 情况......
Kafka 是一个分布式消息系统,我在前文介绍如何结合 ZooKeeper 进行 Kafka 集群的部署(点击查看)。本文接着演示如何在无需依赖 ZooKeeper 的情况下进行 Kafka 集群的部署。 1,基本介绍 (1)我们知道在 Kafka 2.X 版本需要依赖 ZooKeeper,具体来说 ZooKeeper 提供如下作用......
Kafka 是一个分布式消息系统,我之前写过文章介绍如何在 CentOS 系统下安装单节点的 Kafka 部署,而在生产中为了保证高可用性就需要进行集群部署。本文演示如何进行 ZooKeeper + Kafka 集群的部署。 1,准备工作 (1)首先我们准备三台 linux 服务器进行集群搭建,具体信息如下......