十八、案例实操4：TopN 主播统计 1，需求描述 （1）直播平台中有大区这个概念，一个大区下面包含多个国家，我们需要计算每个大区当天金币收入 TopN 的主播。 （2）主播一天可能会开播多次，所以后期在统计主播当天收入的时候是需要把他当天所有直播中的金币收入都计算在内的......
Spark 集群有多种部署方式，比较常见的有 Standalone 模式和 ON YARN 模式 我在之前的文章介绍了如何使用 Standalone 模式部署 Spark，本文接着演示另一种 ON YARN 模式，这也是实际工作中都会使用。 五、ON YARN 模式 1，模式介绍 （1）ON YARN 模式很简单......
七月头条：Rust正在为进入前10名做准备 本月，高性能编程语言 Rust 在 TIOBE 榜单中从第 17 位跃升至第 13 位，创下了 Rust 有史以来的最高排名。虽然上升 4 个名次看似变化不大，但过去几年里，Rust 一直是业界热议的话题，却在 TIOBE 指数上进展缓慢......
1，问题描述 在使用 Windows 10 和 Windows 11 操作系统时，默认情况下文件后缀名（扩展名）是隐藏的。有时这会给我们带来一些麻烦，特别是在需要修改文件类型或确认文件格式时就不是很方便......
1，问题描述 当我们使用 IDEA 创建 Maven 项目时，系统会默认使用 maven 中央仓库下载相关依赖。但由于国内网络环境问题，有时下载速度会非常慢，严重影响开发效率。 2，解决办法 （1）我们可以通过配置阿里云的 Maven 仓库来进行加速......
1，什么是序列化和反序列化？ （1）序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输。 （2）反序列化就是将收到字节序列（或其他数据传输协议）或者是磁盘的持久化数据，转换成内存中的对象......
一、基本介绍 1，什么是 MapReduce? MapReduce 是一种分布式计算框架，算是大数据行业的第一代离线数据计算引擎，可以稳定、可靠地并行处理 TB、PB 级别的海量数据，主要用于搜索领域。 MapReduce 计算引擎的核心思想是，将计算逻辑抽象成 Map 和 Reduce 两个阶段进行处理......
我们知道 Element-UI 的 el-tree 树形组件有一个 show-checkbox 属性，可以控制所有节点是否显示复选框。但是在实际应用中，我们可能会遇到一些复杂的需求，比如只显示某些特定层级的节点复选框，或根据某些条件动态控制节点复选框的显示或隐藏。下面我将介绍如何通过 Vue.js 结合 Element-UI 实现这些功能......
在实际工作中，定时上传数据到 HDFS（Hadoop 分布式文件系统）是一个常见的需求。本文将通过样例演示如何每天凌晨将前一天生成的日志文件上传到 HDFS 中。 1，需求说明 假设我们有一个 Web 项目，每天都会产生日志文件，例如文件格式为 access_2024_05_28.log......
一、问题说明 1，问题描述 （1）最近使用 CDH 部署了一个大数据环境，使用 root 用户登录后查询 HDFS 目录下文件都正常，但是一旦执行上传或者创建文件夹命令： hdfs dfs -put /words.dat / hdfs dfs -mkdir /hangges （2）就会报如下错误......