Redis 的 INFO 命令是一个非常实用的调试和监控工具,它可以为用户提供 Redis 服务器的实时统计和状态信息。这些信息包括服务器的配置参数、内存使用情况、客户端连接数、持久化状态、复制情况、Key 空间信息等。本将详细介绍 INFO 命令的使用......
一、基本介绍 1,什么是 Redis Redis 是一个开源的使用 ANSI C 语言编写、支持网络、可基于内存亦可持久化的日志型、向键值对(Key-Value)数据类型的 NoSQL 数据库,可以满足对海量数据的快速读写需求,并提供多种语言的 API。 2,Redis 的起源......
一、HBase 核心参数优化 1,核心参数说明 (1)hbase.hregion.majorcompaction 配置大合并的间隔时间,默认为 604800000 毫秒(7 天),可设置为 0,禁止自动的大合并,大合并的执行可能会持续数小时,为减少对业务的影响,建议在业务低峰期进行手动或者通过脚本或者 API 定期进行大合并......
要将 HBase 中的数据批量导出,通常有两种方式:一种是利用 TableMapReduceUtil 将数据导出 (需要开发 MapReduce 代码),另一种是利用 HBase 内部提供的 Export 工具类。下面通过样例分别进行介绍。 一、利用 TableMapReduceUtil 将数据导出......
我在之前的文章中介绍了如何使用 MapReduce 实现数据批量导入到 HBase,本文接着介绍另一种方法:利用 Bulkload。该方法首先使用 MapReduce 直接生成 HFile 文件,然后再通过 Bulkload 将 HFile 文件直接加载到表中。 二、使用 BulkLoad 实现数据批量导入 HBase......
要实现数据批量导入到 HBase 通常有两种方法:利用 MapReduce 和利用 Bulkload。本文首先介绍前者,即利用 MapReduce 中封装好的方法。在 map 阶段,把数据封装成 Put 操作,直接将数据入库。 一、使用 MapReduce 实现数据批量导入 HBase......
1,生存时间(TTL)设置 (1)应用系统经常需要从数据库里删除老数据,通过配置列族 TTL 参数,可使数据增加生命周期。这样,当数据超过该配置时间,将会在大合并时“被删除”。(单位:秒) (2)下面命令创建一个名为 t3 的表,并指定该表包含一个列族 cf1,同时设置该列族的数据的生存时间为 18000 秒......
1,HFile 介绍 (1)HFile 是 HBase 中重要的一个存在,可以说是 HBase 架构中最小的结构,HBase 的底层数据都在 HFile 中。HFile 从根本上来说是 HDFS 中的文件,只是它有自己特殊的格式。 (2)HFile 文件由 6 部分组成: Data(数据块):保存表中的数据(key-value 的形式),这部分可以被压缩......
在开发和调试阶段,我们通过 HBase 自带的 Shell 命令行可以进行创建表、添加数据、修改数据等操作,而无需编写复杂的代码,比较方便。HBase 的 Shell 命令行中的命令大致可以分为 3 种:基础命令、DDL 命令和增删改查命令。 下面我将通过样例对各个命令进行演示......
我之前写过文章介绍如何在 CentOS 系统下进行单机版的 HBase 安装。而在生产环境,为了使系统具备高可用性和横向扩展性,以满足日益增长的数据处理需求,通常需要在多节点环境中搭建 HBase 集群。本文将演示如何在多节点上搭建 HBase 集群......