Structured Streaming 不但支持 Streaming DataSet/DataFrame 与静态的 DataSet/DataFrame 进行 join, 也支持 Streaming DataSet/DataFrame 与另外一个 Streaming DataSet/DataFrame 进行 join。同时 join 的结果也是持续不断的生成，类似于前面学习的 streaming 的聚合结果......
八、流数据去重 1，使用 dropDuplicates 实现流数据去重 （1）dropDuplicates 方法可以用于从数据集中删除重复的行，下面是一个简单的样例： 注意： dropDuplicates 方法可以指定一个或多个列作为子集，方法将根据这些列的值来判断行是否重复......
Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。使用 Docker 技术可以帮助我们快速地搭建一个 Spark 集群环境，方便我们日常开发和学习。下面我以 CentOS 系统为例（其他系统步骤也是一样的），演示如何通过 Docker 部署 Spark 集群......
在数据分析系统中，Structured Streaming 可以持续的按照 event-time 聚合数据，然而在此过程中并不能保证数据按照时间的先后依次到达。例如：当前接收的某一条数据的 event-time 可能远远早于之前已经处理过的 event-time。在发生这种情况时，往往需要结合业务需求对延迟数据进行过滤......
八、基于事件时间（Event Time）的窗口操作 1，基本介绍 （1）在 Structured Streaming 中, 可以按照事件发生时的时间对数据进行聚合操作，即基于 event-time（时间时间）进行操作。 在这种机制下，不必考虑 Spark 陆续接收事件的顺序是否与事件发生的顺序一致......
从输入源获取数据后，我们就可以在 streaming DataFrames / Datasets上 应用各种操作。操作方式主要分两种：一种是直接执行 sql，另一种则是特定类型的 api（DSL）。下面分别进行介绍。 六、SQL 语法 1，基本介绍 SQL 语法是一种结构化查询语言......
准神是一群特定的宝可梦，他们拥有与神兽比肩的种族值，却可以像普通宝可梦一样大量捕获与繁殖。他们没有神格，却有神的力量。 截止第九世代，准神一共有十只，除了第三世代设计了双准神，其余世代各有一只。每个准神都可以进化两次，所以十个家族共占了30个图鉴编号......
五、Kafka 输入源 1，准备工作 （1）首先编辑项目的 pom.xml 文件，添加 Kafka 相关的依赖： org.apache.spark spark-sql-kafka-0-10_2.12 3.3.1 （2）为了方便测试，我们还编写了如下生产者代码，它每隔 1 秒向指定主题发送包含多个随机单词的随机字符串，单词之间用空格隔开......
Shadowsocks（简称 SS）是一种轻量级的代理工具，用于在网络上创建安全的加密连接。本文以 CentOS 系统服务器为例，演示如何安装和配置 Shadowsocks 服务。 1，安装 pip 首先我们执行如下命令安装 pip。 yum install python-pip......
四、文件系统输入源 1，读取普通文件夹内的文件 （1）使用文件作为输入源时，Structured Streaming 会监控指定目录下的新文件，并读取其中的数据。下面是一个简单的样例代码......