1，问题描述 （1）我们知道 YARN 主要负责管理集群中的 CPU 和内存资源。NodeManager 节点在启动时，会自动向 ResourceManager 节点注册，将当前节点上的可用 CPU 和内存信息注册进去。这样所有的 NodeManager 注册完成后，ResourceManager 就知道目前集群的资源总量了......
一、YARN 中的调度器说明 1，为什么需要调度器？ （1）我们集群的资源是有限的，在实际工作中会有很多人向集群中提交任务，那么这个时候调度器就会决定资源如何分配。 （2）又比如我们提交了一个很占资源的任务，如果这一个任务就把集群中 90% 的资源都占用了......
1，分布式资源管理系统 （1）在传统的 IT 领域中，企业的服务器资源（内存、CPU 等）是有限的，也是固定的。但是，服务器的应用场景却是灵活多变的。例如，今天临时上线了一个系统，需要占用几台服务器；过了几天，需要把这个系统下线，把这几台服务器清理出来......
1，基本介绍 （1）webmagic 是一个由国人开发的开源的 Java 垂直爬虫框架，目标是简化爬虫的开发流程，让开发者专注于逻辑功能的开发。webmagic 的核心非常简单，但是覆盖爬虫的整个流程，也是很好的学习爬虫开发的材料。 （2）webmagic 的主要特色： 完全模块化的设计，强大的可扩展性......
nternet Download Manager（简称 IDM）是一款强大的下载工具，可以显著提高下载速度，并提供恢复和计划下载的功能。默认情况下 IDM 安装后只会提供一段试用时间，如果想要免费永久激活它可以按照下面步骤进行操作。 （1）确保电脑正常联网......
树形图是我们项目经常用到的一个组件。本文将介绍如何利用 Element-UI 的 tree 组件实现一个可编辑的树形结构，通过简单的操作实现节点的新增、删除和编辑功能。 1，效果图 （1）点击“新增”按钮后，在选中节点下会新增一个输入框，输入内容回车后......
MapReduce 中常见的数据压缩格式主要包括：DEFLATE、Gzip、Bzip2、Lz4、Lzo、Snappy。Hadoop 3.x 版本中已经默认集成了除 Lzo 外的其他所有压缩格式，它们的介绍和用法可以参考我之前写的文章。本文接着演示如何在 Hadoop 中集成 Lzo，使其支持 Lzo 压缩......
一、基本介绍 1，MapReduce 中常见的数据压缩格式 （1）DEFLATE DEFLATE 是同时使用了 LZ77 算法与哈夫曼编码（Huffman Coding）的一个无损数据压缩算法，其底层使用的是 Zlib。 DEFLATE 压缩与解压的源代码可以在自由、通用的压缩库 Zlib 上找到......
1，问题描述 最近我在 Hadoop 上执行一个 MapReduce 任务时，发现报“找不到或无法加载主类”错误，具体错误信息如下： 2024-01-26 09:45:52,652 INFO mapreduce.Job: map 0% reduce 0% 2024-01-26 09:45:52,671 INFO mapreduce.Job: Job job_1706233227329_0003 failed with......
我们知道 MapReduce 是分为 Map 阶段和 Reduce 阶段，其实提高执行效率就是提高这两个阶段的执行效率。默认情况下 Map 阶段中 Map 任务的个数是和数据的 InputSplit 相关的，而 InputSplit 的个数一般是和 Block 块是有关联的，所以可以认为 Map 任务的个数和数据的 block 块个数有关系......