Redis-脚本-获取某个前缀的key

马忠志发布于2019-07-30 16:12 / 1341人阅读

摘要：背景在平时的维护中，经常会遇到要统计某个前缀的有多少，在请求比较多的中，会直接导致阻塞。可以采用的方式进行增量迭代，查询使用减少交互，提高效率。

1.背景

在平时的维护中，经常会遇到要统计某个前缀的key有多少，在请求比较多的redis中，keys * 会直接导致阻塞。
可以采用scan的方式进行增量迭代，查询使用pipeline减少交互，提高效率。

2.scan命令的优缺点

优点：
提供键空间的遍历操作，支持游标，复杂度O(1), 整体遍历一遍只需要O(N)；
提供结果模式匹配；
支持一次返回的数据条数设置，但仅仅是个hints，有时候返回的会多；
弱状态，所有状态只需要客户端需要维护一个游标；
缺点：
无法提供完整的快照遍历，也就是中间如果有数据修改，可能有些涉及改动的数据遍历不到；
每次返回的数据条数不一定，极度依赖内部实现；
返回的数据可能有重复，应用层必须能够处理重入逻辑；

3. python脚本的实现

python中有一个封装的函数scan_iter--查看所有元素--迭代器
脚本内容：

#!/usr/bin/env python
# -*- coding: UTF-8 -*-  
#作用：统计某个前缀key的个数，并将其输入到文件
#使用方法：python scan_redis.py apus* 100
__author__ = "lcl"  
import sys
import redis 
import os 
  
pool=redis.ConnectionPool(host="192.168.225.128",port=6379,db=0)  
r = redis.StrictRedis(connection_pool=pool)  
#扫描匹配值，通过sys.argv传参
match = sys.argv[1]
#每次匹配数量
count = sys.argv[2]
#print match
#print count
#总数量
total = 0
#扫描到的key输出到文件
path = os.getcwd()
#扫描到的key输出的文件
txt = path+"/keys.txt"

f = open(txt,"w")
for key in r.scan_iter(match = match,count = count):
#   f.write("%s %s" % (key,"
"))
   f.write(key+"
")
   total = total+1
f.close

print "匹配: %s 的数量为:%d " % (match,total)

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/41550.html

Redis学习

摘要：单线程执行命令。文件描述符事件。内部原因不合理使用或数据结构可能由此导致慢查询等饱和是单线程，只会使用单个持久化阻塞操作产生阻塞，对硬盘的操作产生阻塞或写操作阻塞等。内存达到时执行内存溢出控制策略。最近在看《Redis开发与运维》，把自己学会的知识点记录下来，毕竟好记性不如烂笔头。一.Redis是什么。 Redis是一个Key-Value的NoSQL数据库. 二.Redis的特点。...

miguel.jiang 2019-08-16 13:24 评论0 收藏0
Spring Boot项目实践之问答社区

摘要：异步事件处理本项目涉及到多种异步事件的处理。即是的粉丝，是的关注对象。模式定义优缺点推事件触发后广播给所有粉丝。具体来说，推模式就是事件触发后产生，触发事件的用户下所有粉丝的实现中都存入该的。项目源代码已托管在 Github，欢迎 Star、Fork。 Q & A 问答社区 QA 是一个基于 B/S 架构而设计开发的社区网站。 showImg(https://segmentfault...

binaryTree 2019-08-16 12:31 评论0 收藏0