前文我演示了如何利用 Flink-Kafka-Connector 从 Kafka 中读取数据流 (Source),本文接着通过样例演示如何利用 Kafka Sink 将数据流写入一个或多个 Kafka topic。 二、将数据流写入 Kafka(Kafka Sink) 1,准备工作 首先,我们创建一个 Maven 项目,然后......
对于长期使用 Windows 系统的用户来说,硬盘空间总会在不知不觉中被各种文件吞噬。无论是微信聊天记录的自动缓存,还是 Steam 游戏的更新包,亦或是临时文件堆积,都可能让我们的 C 盘突然亮起"红色警报"。这里我介绍一款在 Windows 平台上非常实用的工具:TreeSize,它不仅免费好用,还能帮我们快速找到占用大量空间的大文件......
Flink 社区提供了丰富的连接器(Connectors)以方便与不同的数据源进行交互,其 Flink-Kafka-Connector 是 Flink 提供的一个专门用于与 Kafka 集成的组件。通过这个连接器,用户可以轻松地从 Kafka 中读取数据流 (Source)或将数据流写入到 Kafka(Sink)。本文首先介绍如何从 Kafka 中读取数据......
Flink 针对延迟太久的数据有 3 种处理方案:丢弃、允许数据延迟一定时间、收集迟到的数据。下面通过样例分别进行演示。 一、丢弃 1,基本介绍 link 默认对迟到的数据的处理方案就是丢弃。 2,样例演示 (1)这里我们使用上文编写的 WaterMark 样例代码......
在日常办公、开发或者多任务处理过程中,我们常常需要让某个窗口始终保持在其他窗口之上。PinWin 就是一款专为解决这一需求而设计的小巧工具。下面我将详细介绍如何安装和使用这款软件。 1,基本介绍 (1)PinWin 是一款专为 Windows 用户设计的轻量级开源工具......
一、基本介绍 1,Flink 中时间概念 (1)EventTime:事件发生时间,是事件发生所在设备的当地时间,比如一个点击事件的时间发生时间,是用户点击操作所在的手机或电脑的时间。 (2)IngestionTime:事件摄入时间,即事件进入 Flink 的时间。 (3)processTime:事件处理时间......
Flink 实时数据计算可以分为两大类应用场景:实时数据清洗(比较简单,就是来一条数据计算一条数据,之后把结果输出去)、基于 Window 窗口聚合(设置一个时间窗口,对指定时间窗口内收到的实时数据进行聚合操作)。而在进行 Window 聚合操作的时候又可以分为两种:增量聚合和全量聚合,下面分别通过样例进行演示......
在日常使用 Mac 苹果电脑时,了解硬件状态(例如 CPU 温度和风扇转速)有助于监控系统健康状态。除了借助第三方工具外,macOS 也内置了一些命令行工具,可以直接读取这些数据。本文将详细介绍如何利用内置的 powermetrics 命令来查看系统传感器数据......
Flink 认为批处理是流处理的一个特例,所以 Flink 底层引擎是一个流式引擎,在上面实现了流处理和批处理。而 Window 就是从流处理到批处理的一个桥梁。通常来讲,Window 是一种可以把无界数据切割为有界数据块的手段。 例如:对流中的所有元素进行计数是不可能的,因为通常流是无限的......
Table API&SQL 可以很容易的和 DataStream 和 DataSet 程序集成到一块。通过 TableEnvironment ,可以把 DataStream 或者 DataSet 注册为 Table,这样就可以使用 Table API 和 SQL 查询了。此外,通过 TableEnvironment 也可以把 Table 对象转换为 DataStream 或者 DataSet......