1，问题描述 （1）使用如下命令创建一个 Vite + Vue3 项目： npm init vue@latest my-app （2）创建后进入项目文件夹并启动项目： cd my-app npm run dev （3）上述命令执行后，控制台显示“Network: use --host to expose” （4）使用浏览器访问......
四、foreach sink 1，基本介绍 foreach sink 会遍历表中的每一行, 允许将流查询结果按开发者指定的逻辑输出。例如我们可以借助 foreach sink 将数据写入外部数据库、向外部 API 发送请求等。 2，准备工作 （1）将设我们需要把 wordcount 数据写入到 mysql，首先我们需要创建如下数据库表......
四、kafka sink 1，基本介绍 （1）kafka sink 用于将流式处理结果写入到 Kafka 主题（topic）中。写入到 kafka 的时候应该包含如下列（注意：如果没有添加 topic option 则 topic 列必须有）： key (可选)：string or binary value (必须)：string or binary......
三、file sink 1，基本介绍 （1）file sink 用于将流式处理结果写入文件系统。它允许我们将流数据输出到本地文件系统或分布式文件系统（如 HDFS）中。支持的数据格式有 text、csv、json、parquet、orc 等。 （2）file sink 仅支持 Append 输出模式......
一、console sink 1，基本介绍 （1）console sink 用于将流式处理结果输出到控制台（终端）。这对于调试和测试非常有用，因为它允许我们在控制台上实时查看流式处理的结果。 （2）console sink 支持 Append、Complete、Update 这几种输出模式。 2，使用样例......
随着大数据技术的不断发展，Hadoop 作为一个开源的分布式存储和计算框架，广泛应用于处理大规模数据。在开发和测试阶段，为了简化部署和管理，我们可以使用 Docker 容器来快速搭建 Hadoop 环境。下面我将介绍如何通过 Docker 容器轻松搭建和部署 Hadoop 环境......
Structured Streaming 不但支持 Streaming DataSet/DataFrame 与静态的 DataSet/DataFrame 进行 join, 也支持 Streaming DataSet/DataFrame 与另外一个 Streaming DataSet/DataFrame 进行 join。同时 join 的结果也是持续不断的生成，类似于前面学习的 streaming 的聚合结果......
八、流数据去重 1，使用 dropDuplicates 实现流数据去重 （1）dropDuplicates 方法可以用于从数据集中删除重复的行，下面是一个简单的样例： 注意： dropDuplicates 方法可以指定一个或多个列作为子集，方法将根据这些列的值来判断行是否重复......
Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。使用 Docker 技术可以帮助我们快速地搭建一个 Spark 集群环境，方便我们日常开发和学习。下面我以 CentOS 系统为例（其他系统步骤也是一样的），演示如何通过 Docker 部署 Spark 集群......
在数据分析系统中，Structured Streaming 可以持续的按照 event-time 聚合数据，然而在此过程中并不能保证数据按照时间的先后依次到达。例如：当前接收的某一条数据的 event-time 可能远远早于之前已经处理过的 event-time。在发生这种情况时，往往需要结合业务需求对延迟数据进行过滤......