Apache Spark 是一个快速、通用的分布式计算系统，适用于大规模数据处理。为了让我们开发的应用程序能够在 Spark 集群上运行，我们需要将任务代码打包成一个可执行的 JAR 文件，并提交到 Spark 集群执行。下面我将详细演示如何完成这一过程......
1，问题描述 （1）当我们使用 Win10 或 Win11 系统自带的媒体播放器（如电影和电视）打开 HEVC （H.265 编码）格式视频时会提示“播放此视频需要新的编解码器”，如果安装的话需要收费......
在之前的文章中，我介绍了如何在 SparkSQL 中集成 Hive 并查询 Hive 表中的数据（点击查看）。实际工作中，我们不仅需要查询数据并计算结果，还希望将结果数据写入 Hive 表中。通常来说，向 Hive 表中写入数据有如下 3 种方法。 第一种：使用 inserInto() 方法......
向 Hive 表中写入数据有如下 3 种方法。 第一种：使用 inserInto() 方法。 第二种：使用 saveAsTable() 方法。 第三种：使用 SparkSQL 语句。 其中第二种不推荐使用，最常用的是第三种，用起来比较方便。我在前文介绍了第一种方法，本文接着介绍第二种使用 saveAsTable() 方法......
在之前的文章中，我介绍了如何在 SparkSQL 中集成 Hive 并查询 Hive 表中的数据。实际工作中，我们不仅需要查询数据并计算结果，还希望将结果数据写入 Hive 表中。通常来说，向 Hive 表中写入数据有如下 3 种方法。 第一种：使用 inserInto() 方法......
一、基本介绍 （1）SparkSQL 集成 Hive，就是在 SparkSQL 中直接操作 Hive 的表。通过这种方式，可以利用 Spark 的计算引擎提高计算效率，并且不需要每次使用时临时在 SparkSQL 中创建表，从而省略了创建表的复杂过程。 注意：在 SparkSQL 中操作 Hive 表......
我之前写过文章演示了如何使用 Spark RDD 的 transformation 算子去计算每个大区当天金币收入 TopN 的主播（点击查看），但是其实现起来比较麻烦的，代码量相对来说比较多。本文我将演示如何使用 Spark SQL 来实现同样的功能，会发现使用 Spark SQL 会简单许多......
1，问题描述 在 Windows 10 和 Windows 11 中，默认情况下桌面上只有个回收站图标，没有我的电脑（此电脑）图标，这对一些用户来说可能不是很方便。 2，解决办法 （1）右键点击桌面空白处......
通常来说 MapReduce 任务是由 map 阶段和 reduce 阶段组成的，但是 reduce 阶段不是必须的，那也就意味着 MapReduce 程序可以只包含 map 阶段。下面我通过样例演示如何实现一个只包含 map 阶段的任务。 二、只包含 map 阶段样例 1，需求说明 （1）假设我们需要使用 MapReduce 实现一个单词转换功能......
一、WordCount 功能实现样例 1，需求说明 （1）假设我们需要使用 MapReduce 实现一个 WordCount 功能，即读取 HDFS 上的 hello.txt 文件，计算文件中每个单词出现的总次数。其中 hello.txt 文件内部分内容如下： hello hangge.com welcome to hangge.com......