在上一篇文章中我介绍了 UpdateStateByKey 这个状态转换操作，本文接着介绍另一个强大的有状态转换操作 mapWithState，它允许我们根据过去的状态和新的数据执行自定义映射操作。 七、DStream 有状态转换操作2：mapWithState 1，基本介绍 mapWithState 操作是一种在 DStream 中应用自定义状态更新......
在前面的文章中，我介绍了 DStream 的无状态转换操作。接下来我们进一步探讨 Spark Streaming 中的有状态转换操作，这些操作允许我们跨批次保持数据状态，从而执行更复杂的分析和处理。本文首先介绍有状态转换操作中的 UpdateStateByKey 操作......
在前面的文章中，我介绍了 Spark Streaming 的基本概念、输入源、高级数据源和自定义数据源的内容。本文我将介绍 DStream 的无状态转换操作，这些操作不需要维护状态信息，适用于那些每个批次之间独立处理的情况。 五、DStream 无状态转换操作 1，基本介绍 无状态转换操作是指那些不需要维护状态信息的转换操作......
十二月头条：C# 有望成为 2023 年的年度编程语言 我们之前曾谈论过这个问题。在 2022 年末，似乎 C# 将成为那一年的编程语言。但在最后一刻，C++ 意外地夺得了这个称号。今年，我们更加确信 C# 将会获胜。它的得分在 1 年内增长了 +2.38%，而其最接近的竞争者......
通过自定义数据源，我们可以从非标准输入源接收流式数据，这在一些特定业务场景下十分有用。要实现自定义数据源，只需要继承 Receiver，并实现 onStart、onStop 方法来自定义数据源采集即可，下面通过样例进行演示。 四、自定义数据源 1，自定义数据源之 Socket......
Kafka 作为一个高性能的消息队列系统，为实时数据流的传输和处理提供了强大的支持。下面我将介绍如何使用 Spark Streaming 与 Kafka 集成，实现从 Kafka 主题中读取数据并进行简单的实时统计分析。 三、使用 Kafka 作为输入数据源 1，添加依赖 首先编辑项目的 pom.xml 文件......
在上一篇文章中，我介绍了 Spark Streaming 的基本概念和架构。本文我将进一步探讨 Spark Streaming 的基本输入源，包括文件流、套接字流以及 RDD 队列流。我们可以将这些输入源的数据流转换为 DStream，从而实时处理各种数据。 二、基本输入源 1：文件流......
一、基本概念介绍 1，Spark Streaming （1）Spark Streaming 是 Apache Spark 提供的用于实时数据处理的组件。它通过将连续的实时数据流划分为一系列小批次来处理数据。这种离散的批处理操作使得 Spark Streaming 具有与传统的批处理作业相似的编程模型......
七、案例实操：各区域热门商品 Top3 1，数据说明 （1）首先 user_visit_action.txt 文件中存放了所有用户的行为记录，下面是截取其中的一部分内容: 文件中每行数据的详细字段说明如下： 编号 字段名称 字段类型 字段含义 1 date String 用户点击行为的日期 2 user_id Long 用户的 ID 3 session_id String Session 的 ID......
我在之前的文章中介绍了如何读取 HBase 表中数据转换为 RDD，以及如何将 RDD 中的数据保存到 HBase 数据库中（点击查看）。本文接着介绍如何通过 SparkSQL 来实现读写 HBase 中的数据。 六、HBase 的读取与写入 1，准备测试数据 （1）首先我们启动 HBase 的 shell 命令行工具......