在日常操作中,误删除文件是不可避免的,为了避免数据丢失,HDFS 提供了回收站功能。启用回收站功能后,删除的文件将首先被移动到回收站,而不是立即被删除,从而为恢复误删文件提供了可能性。本文将详细介绍如何在 HDFS 中启用和配置回收站功能......
1,命令格式 (1)在 Linux 的 Shell 命令行中操作 HDFS 类似于操作 Linux 中的文件,操作 HDFS 的格式如下: hdfs dfs -xxx schema://authority/path (2)各参数说明如下: hdfs:使用 Hadoop 安装目录下 bin 目录下的 hdfs 脚本进行操作。 dfs:全称是 Distributed File System......
在实际工作中,不建议直接登录集群中的节点来操作集群,因为把集群中节点的访问权限暴露给普通开发人员是不安全的。因此我们需要一个专门的 Hadoop 的客户端节点来对集群操作。本文将演示如何安全 Hadoop 客户端。 1,基本介绍 (1)要在业务机器上安装 Hadoop 客户端......
Hadoop 是一个强大的分布式计算框架,用于处理大规模数据。本文以 CentOS 系统为例,演示如何在多节点集群上搭建和部署 Hadoop。 1,架构说明 下面这张图显示了使用多节点安装 Hadoop 的架构图: NameNode、SecondaryNameNode、DataNode 是 HDFS 服务的进程......
Hadoop 作为一个开源的分布式存储和计算框架,广泛应用于处理大规模数据场合。通常来说,生产环境下 Hadoop 都是采用集群方式部署,而日常我们也可以在单台机器上搭建一个基本的 Hadoop 环境,以便于学习和开发。下面我将演示如何实现 Hadoop 的单机部署......
1,HDFS 的起源 (1)HDFS 源于 Google 在 2003 年 10 月份发表的论文 The Google File System(GFS),它其实就是 GFS 的一个开源简化版本。 (2)HDFS 属于 Hadoop 项目中的核心组件,主要负责海量数据存储。 (3)Hadoop 重要版本的发展历程如下,目前在企业中常用的版本是......
消息队列(Message Queue)是一种异步服务到服务的通信方式,通过队列存储和转发消息。它在分布式系统中起着至关重要的作用,广泛用于实现异步处理、削峰填谷、系统解耦等功能。下面整理了一些常见的关于消息队列,特别是 Kafka 的面试题......
在大数据处理领域,Hadoop 分布式文件系统(HDFS)是一个核心组件,负责存储和管理大规模数据集。本文将介绍如何在 Spring Boot 项目中整合 Hadoop 客户端,并展示具体的 HDFS 操作样例。 1,准备工作 (1)在 Spring Boot 项目的 pom.xml 文件中添加 Hadoop 客户端的依赖......
1,问题描述 有时新购买的电脑带的是未激活的 Office,或者当我们使用微软官方的安装包安装 Office 后,如果没有密钥进行激活,窗口上方会显示“产品通知 Word 未激活。若要无中断地继续使用 Word,请在 XXXX 年 XX 月 XX 日之前激活。”提示。 2,免费激活方法......
1,问题描述 (1)我在之前写过文章介绍如何使用 VSCode 实现远程开发: VSCode - 实现远程开发教程(远程编辑服务器文件,远程执行命令) (2)但是每次进入服务器文件夹都需要输入密码略显麻烦......