十、优雅的关闭作业程序 1，基本介绍 （1）流式任务需要 7*24 小时执行，但是有时涉及到升级代码需要主动停止程序。如果需要优雅的关闭 Spark Streaming，则在程序中执行如下代码即可，其中 stop 方法参数说明如下： 第一个 true 意思是 Spark context 需要被停止......
在 Spark Streaming 中，我们常常需要将处理后的数据发送到各种不同的目的地，比如文件系统、数据库、消息队列等，用于展示、存储或进一步分析。本文将演示一些常见的 DStream 输出操作。 九、DStream 数据输出 1，基本介绍 输出操作指定了对流数据经转化操作得到的数据所要执行的操作......
前面的文章中，我介绍了 Spark Streaming 的有状态转换操作，如 updateStateByKey 和 mapWithState。本文将介绍滑动窗口转换操作。滑动窗口允许我们在一个可调整大小的时间窗口内对数据进行操作和分析，这在实时数据流处理中非常实用。 八、DStream 有状态转换操作3：滑动窗口转换操作......
在上一篇文章中我介绍了 UpdateStateByKey 这个状态转换操作，本文接着介绍另一个强大的有状态转换操作 mapWithState，它允许我们根据过去的状态和新的数据执行自定义映射操作。 七、DStream 有状态转换操作2：mapWithState 1，基本介绍 mapWithState 操作是一种在 DStream 中应用自定义状态更新......
在前面的文章中，我介绍了 DStream 的无状态转换操作。接下来我们进一步探讨 Spark Streaming 中的有状态转换操作，这些操作允许我们跨批次保持数据状态，从而执行更复杂的分析和处理。本文首先介绍有状态转换操作中的 UpdateStateByKey 操作......
在前面的文章中，我介绍了 Spark Streaming 的基本概念、输入源、高级数据源和自定义数据源的内容。本文我将介绍 DStream 的无状态转换操作，这些操作不需要维护状态信息，适用于那些每个批次之间独立处理的情况。 五、DStream 无状态转换操作 1，基本介绍 无状态转换操作是指那些不需要维护状态信息的转换操作......
十二月头条：C# 有望成为 2023 年的年度编程语言 我们之前曾谈论过这个问题。在 2022 年末，似乎 C# 将成为那一年的编程语言。但在最后一刻，C++ 意外地夺得了这个称号。今年，我们更加确信 C# 将会获胜。它的得分在 1 年内增长了 +2.38%，而其最接近的竞争者......
通过自定义数据源，我们可以从非标准输入源接收流式数据，这在一些特定业务场景下十分有用。要实现自定义数据源，只需要继承 Receiver，并实现 onStart、onStop 方法来自定义数据源采集即可，下面通过样例进行演示。 四、自定义数据源 1，自定义数据源之 Socket......
Kafka 作为一个高性能的消息队列系统，为实时数据流的传输和处理提供了强大的支持。下面我将介绍如何使用 Spark Streaming 与 Kafka 集成，实现从 Kafka 主题中读取数据并进行简单的实时统计分析。 三、使用 Kafka 作为输入数据源 1，添加依赖 首先编辑项目的 pom.xml 文件......
在上一篇文章中，我介绍了 Spark Streaming 的基本概念和架构。本文我将进一步探讨 Spark Streaming 的基本输入源，包括文件流、套接字流以及 RDD 队列流。我们可以将这些输入源的数据流转换为 DStream，从而实时处理各种数据。 二、基本输入源 1：文件流......