返回 导航

大数据

hangge.com

Redis - 大Key的查找、删除教程(附样例)

作者:hangge | 2025-01-13 08:55

一、基本介绍

1,什么是 Redis 大 key?

(1)大 key 并不是指 key 的值很大,而是 key 对应的 value 很大。
(2)一般而言,下面这两种情况被称为大 key
  • String 类型的值大于 10 KB
  • HashListSetZSet 类型的元素的个数超过 5000 个;

2,大 key 会带来的问题

  • 客户端超时阻塞。由于 Redis 执行命令是单线程处理,然后在操作大 key 时会比较耗时,那么就会阻塞 Redis,从客户端这一视角看,就是很久很久都没有响应。
  • 引发网络阻塞。每次获取大 key 产生的网络流量较大,如果一个 key 的大小是 1 MB,每秒访问量为 1000,那么每秒会产生 1000MB 的流量,这对于普通千兆网卡的服务器来说是灾难性的。
  • 阻塞工作线程。如果使用 del 删除大 key 时,会阻塞工作线程,这样就没办法处理后续的命令。
  • 内存分布不均。集群模型在 slot 分片均匀情况下,会出现数据和查询倾斜情况,部分有大 keyRedis 节点占用内存多,QPS 也会比较大。

二、找到大 key 的方法

1,通过 redis-cli --bigkeys 命令查找大 key

(1)我们可以通过 redis-cli --bigkeys 命令查找大 key
redis-cli -h 127.0.0.1 -p 6379 -a 123 --bigkeys

(2)使用的时候注意事项:
  • 最好选择在从节点上执行该命令。因为主节点上执行时,会阻塞主节点;
  • 如果没有从节点,那么可以选择在 Redis 实例业务压力的低峰阶段进行扫描查询,以免影响到实例的正常运行;或者可以使用 -i 参数控制扫描间隔,避免长时间扫描降低 Redis 实例的性能。

(3)该方式的不足之处:
  • 这个方法只能返回每种类型中最大的那个 bigkey,无法得到大小排在前 N 位的 bigkey
  • 对于集合类型来说,这个方法只统计集合元素个数的多少,而不是实际占用的内存量。但是,一个集合中的元素个数多,并不一定占用的内存就多。因为,有可能每个元素占用的内存很小,这样的话,即使元素个数有很多,总内存开销也不大;

2,使用 SCAN 命令查找大 key

(1)使用 SCAN 命令对数据库扫描,然后用 TYPE 命令获取返回的每一个 key 的类型。
SCAN 0
TYPE your_key

(2)对于 String 类型,可以直接使用 STRLEN 命令获取字符串的长度,也就是占用的内存空间字节数。
STRLEN your_key

(3)对于集合类型来说,有两种方法可以获得它占用的内存大小:
  • 如果能够预先从业务层知道集合元素的平均大小,那么,可以使用下面的命令获取集合元素的个数,然后乘以集合元素的平均大小,这样就能获得集合占用的内存大小了。
# List 类型
LLEN your_key

# Hash 类型
HLEN your_key

# Set 类型
SCARD your_key

# Sorted Set 类型
ZCARD your_key
  • 如果不能提前知道写入集合的元素大小,可以使用 MEMORY USAGE 命令(需要 Redis 4.0 及以上版本),查询一个键值对占用的内存空间。
MEMORY USAGE your_key

三、删除大 key 的方法

删除大 key 时需要小心谨慎的操作,具体原因如下:
  • 删除操作的本质是要释放键值对占用的内存空间。为了更加高效地管理内存空间,在应用程序释放内存时,操作系统需要把释放掉的内存块插入一个空闲内存块的链表,以便后续进行管理和再分配。这个过程本身需要一定时间,而且会阻塞当前释放内存的应用程序。
  • 所以,如果一下子释放了大量内存,空闲内存块链表操作时间就会增加,相应地就会造成 Redis 主线程的阻塞,如果主线程发生了阻塞,其他所有请求可能都会超时,超时越来越多,会造成 Redis 连接耗尽,产生各种异常。

1,分批次删除

(1)对于删除大 Hash,使用 hscan 命令,每次获取 100 个字段,再用 hdel 命令,每次删除 1 个字段。下面对应的 java 示例代码:
import redis.clients.jedis.Jedis;
import redis.clients.jedis.ScanParams;
import redis.clients.jedis.ScanResult;
import java.util.Map;

public class RedisTest {
  public static void main(String[] args) {
    Jedis jedis = new Jedis("47.97.32.128", 6379);
    jedis.auth("123");
    String largeHashKey = "test_hash"; // 要删除的大 hash 键名
    String cursor = "";

    while (!cursor.equals("0")) {
      // 使用 hscan 命令,每次获取 100 个字段
      ScanResult<Map.Entry<String, String>> scanResult = jedis.hscan(largeHashKey, 
              cursor, new ScanParams().count(100));
      cursor = scanResult.getCursor();

      for (Map.Entry<String, String> entry : scanResult.getResult()) {
        // 再用 hdel 命令,每次删除 1 个字段
        jedis.hdel(largeHashKey, entry.getKey());
      }
    }

    jedis.close();
  }
}

(2)对于删除大 List,通过 ltrim 命令,每次删除少量元素。下面对应的 java 示例代码:
import redis.clients.jedis.Jedis;

public class RedisTest {
  public static void main(String[] args) {
    Jedis jedis = new Jedis("47.97.32.128", 6379);
    jedis.auth("123");
    String largeKey = "test_list"; // 要删除的大 list 键名

    while (jedis.llen(largeKey) > 0) {
      // 每次只删除最右 100 个元素
      jedis.ltrim(largeKey, 0, -101);
    }

    jedis.close();
  }
}

(3)对于删除大 Set,使用 sscan 命令,每次扫描集合中 100 个元素,再用 srem 命令每次删除一个键。下面对应的 java 示例代码:
import redis.clients.jedis.Jedis;
import redis.clients.jedis.ScanParams;
import redis.clients.jedis.ScanResult;

public class RedisTest {
  public static void main(String[] args) {
    Jedis jedis = new Jedis("47.97.32.128", 6379);
    jedis.auth("123");
    String largeKey = "test_set"; // 要删除的大 set 键名
    String cursor = "";

    while (!cursor.equals("0")) {
      // 使用 sscan 命令,每次扫描集合中 100 个元素
      ScanResult<String> scanResult = jedis.sscan(largeKey, 
              cursor, new ScanParams().count(100));
      cursor = scanResult.getCursor();

      for (String member : scanResult.getResult()) {
        // 再用 srem 命令每次删除一个键
        jedis.srem(largeKey, member);
      }
    }

    jedis.close();
  }
}

(4)对于删除大 ZSet,使用 zremrangebyrank 命令,每次删除 top 100 个元素。下面对应的 java 示例代码:
import redis.clients.jedis.Jedis;

public class RedisTest {
  public static void main(String[] args) {
    Jedis jedis = new Jedis("47.97.32.128", 6379);
    jedis.auth("123");
    String largeKey = "test_zset"; // 要删除的大 sorted set 键名

    while (jedis.zcard(largeKey) > 0) {
      // 使用 zremrangebyrank 命令,每次删除 top 100 个元素
      jedis.zremrangeByRank(largeKey, 0, 99);
    }

    jedis.close();
  }
}

2、异步删除

(1)从 Redis 4.0 版本开始,可以采用异步删除法,用 unlink 命令代替 del 来删除。这样 Redis 会将这个 key 放入到一个异步线程中进行删除,这样不会阻塞主线程。
注意:由于异步删除不会立即返回删除的结果,我们可以通过查看 Redis 的日志或者其他监控手段来确认删除操作的执行情况。
UNLINK your_key
import redis.clients.jedis.Jedis;

public class RedisTest {
  public static void main(String[] args) {
    Jedis jedis = new Jedis("47.97.32.128", 6379);
    jedis.auth("123");
    String largeKey = "test_string"; // 要删除的大key键名

    // 异步删除大key
    jedis.unlink(largeKey);

    jedis.close();
  }
}

(2)除了主动调用 unlink 命令实现异步删除之外,我们还可以通过配置参数,达到某些条件的时候自动进行异步删除。redis.conf 文件中主要有如下 4 种场景,默认都是关闭的:
提示:建议开启其中的 lazyfree-lazy-evictionlazyfree-lazy-expirelazyfree-lazy-server-del 等配置(改成 yes 后保存并重启 Redis),这样就可以有效的提高主线程的执行效率。
lazyfree-lazy-eviction no
lazyfree-lazy-expire no
lazyfree-lazy-server-del no
slave-lazy-flush no
  • lazyfree-lazy-eviction:表示当 Redis 运行内存超过 maxmeory 时,是否开启 lazy free 机制删除;
  • lazyfree-lazy-expire:表示设置了过期时间的键值,当过期之后是否开启 lazy free 机制删除;
  • lazyfree-lazy-server-del:有些指令在处理已存在的键时,会带有一个隐式的 del 键的操作,比如 rename 命令,当目标键已存在,Redis 会先删除目标键,如果这些目标键是一个 big key,就会造成阻塞删除的问题,此配置表示在这种场景中是否开启 lazy free 机制删除;
  • slave-lazy-flush:针对 slave (从节点) 进行全量数据同步,slave 在加载 masterRDB 文件前,会运行 flushall 来清理自己的数据,它表示此时是否开启 lazy free 机制删除。
评论

全部评论(0)

回到顶部