前言
之前在做 秒杀架构实践 时有提到对 distributed-redis-tool 的一次小升级,但是没有细说。
其实主要原因是:
秒杀时我做压测:由于集成了这个限流组件,并发又比较大,所以导致连接、断开 Redis 非常频繁。池化技术
最终导致获取不了 Redis connection 的异常。
这就是一个典型的对稀缺资源使用不善导致的。
何为稀缺资源?常见的有:
线程
数据库连接
网络连接等
这些资源都有共同的特点:创建销毁成本较高。
这里涉及到的 Redis 连接也属于该类资源。
我们希望将这些稀有资源管理起来放到一个池子里,当需要时就从中获取,用完就放回去,不够用时就等待(或返回)。
这样我们只需要初始化并维护好这个池子,就能避免频繁的创建、销毁这些资源(也有资源长期未使用需要缩容的情况)。
通常我们称这项姿势为池化技术,如常见的:
线程池
各种资源的连接池等。
为此我将使用到 Redis 的 分布式锁、分布式限流 都升级为利用连接池来获取 Redis 的连接。
这里以分布式锁为例:
将使用的 api 修改为:
原有:
@Configuration public class RedisLockConfig { @Bean public RedisLock build(){ //Need to get Redis connection RedisLock redisLock = new RedisLock() ; HostAndPort hostAndPort = new HostAndPort("127.0.0.1",7000) ; JedisCluster jedisCluster = new JedisCluster(hostAndPort) ; RedisLock redisLock = new RedisLock.Builder(jedisCluster) .lockPrefix("lock_test") .sleepTime(100) .build(); return redisLock ; } }
现在:
@Configuration public class RedisLockConfig { private Logger logger = LoggerFactory.getLogger(RedisLockConfig.class); @Autowired private JedisConnectionFactory jedisConnectionFactory; @Bean public RedisLock build() { RedisLock redisLock = new RedisLock.Builder(jedisConnectionFactory,RedisToolsConstant.SINGLE) .lockPrefix("lock_") .sleepTime(100) .build(); return redisLock; } }
将以前的 Jedis 修改为 JedisConnectionFactory,后续的 Redis 连接就可通过这个对象获取。
并且显示的传入使用 RedisCluster 还是单机的 Redis。
所以在真正操作 Redis 时需要修改:
public boolean tryLock(String key, String request) { //get connection Object connection = getConnection(); String result ; if (connection instanceof Jedis){ result = ((Jedis) connection).set(lockPrefix + key, request, SET_IF_NOT_EXIST, SET_WITH_EXPIRE_TIME, 10 * TIME); ((Jedis) connection).close(); }else { result = ((JedisCluster) connection).set(lockPrefix + key, request, SET_IF_NOT_EXIST, SET_WITH_EXPIRE_TIME, 10 * TIME); try { ((JedisCluster) connection).close(); } catch (IOException e) { logger.error("IOException",e); } } if (LOCK_MSG.equals(result)) { return true; } else { return false; } } //获取连接 private Object getConnection() { Object connection ; if (type == RedisToolsConstant.SINGLE){ RedisConnection redisConnection = jedisConnectionFactory.getConnection(); connection = redisConnection.getNativeConnection(); }else { RedisClusterConnection clusterConnection = jedisConnectionFactory.getClusterConnection(); connection = clusterConnection.getNativeConnection() ; } return connection; }
最大的改变就是将原有操作 Redis 的对象(T extends JedisCommands)改为从连接池中获取。
由于使用了 org.springframework.data.redis.connection.jedis.JedisConnectionFactory 作为 Redis 连接池。
所以需要再使用时构件好这个对象:
JedisPoolConfig config = new JedisPoolConfig(); config.setMaxIdle(10); config.setMaxTotal(300); config.setMaxWaitMillis(10000); config.setTestOnBorrow(true); config.setTestOnReturn(true); RedisClusterConfiguration redisClusterConfiguration = new RedisClusterConfiguration(); redisClusterConfiguration.addClusterNode(new RedisNode("10.19.13.51", 7000)); //单机 JedisConnectionFactory jedisConnectionFactory = new JedisConnectionFactory(config); //集群 //JedisConnectionFactory jedisConnectionFactory = new JedisConnectionFactory(redisClusterConfiguration) ; jedisConnectionFactory.setHostName("47.98.194.60"); jedisConnectionFactory.setPort(6379); jedisConnectionFactory.setPassword(""); jedisConnectionFactory.setTimeout(100000); jedisConnectionFactory.afterPropertiesSet(); //jedisConnectionFactory.setShardInfo(new JedisShardInfo("47.98.194.60", 6379)); //JedisCluster jedisCluster = new JedisCluster(hostAndPort); HostAndPort hostAndPort = new HostAndPort("10.19.13.51", 7000); JedisCluster jedisCluster = new JedisCluster(hostAndPort); redisLock = new RedisLock.Builder(jedisConnectionFactory, RedisToolsConstant.SINGLE) .lockPrefix("lock_") .sleepTime(100) .build();
看起比较麻烦,需要构建对象的较多。
但整合 Spring 使用时就要清晰许多。
配合 SpringSpring 很大的一个作用就是帮我们管理对象,所以像上文那些看似很复杂的对象都可以交由它来管理:
这个其实没多少好说的,就算是换成 SpringBoot 也是创建 JedispoolConfig,connectionFactory,redisTemplate 这些 bean 即可。
总结换为连接池之后再进行压测自然没有出现获取不了 Redis 连接的异常(并发达到一定的量也会出错)说明更新是很有必要的。
推荐有用到该组件的朋友都升级下,也欢迎提出 Issues 和 PR。
项目地址:
https://github.com/crossoverJie/distributed-redis-tool
文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。
转载请注明本文地址:https://www.ucloud.cn/yun/69694.html
摘要:在南京峰会上,阿里云产品宣布,包年包月实例租用费最高下调,存储价格不变。本次阿里云宣布所有规格整体降价,平均降幅达到。阿里云表示,经过不断的技术升级和资源优化,规模效应开始展现,这是今年持续大幅降价的基础。4月26日,在2018云栖大会·南京峰会上,阿里云宣布新一轮的价格调整。此次调整包含了Elasticsearch、分析型数据库、实人认证、开放搜索等多项产品,最高降幅达到50%。 ...
摘要:执行构造函数执行析构函数第一次完毕第二次完毕执行输出执行构造函数第一次完毕执行构造函数执行析构函数第二次完毕执行析构函数终于逮到你了。。。这就导致了先执行构造函数,然后再执行析构函数。 class Test { protected $client; protected static $name; public function __construct() { ...
摘要:前言这段时间一直负责公司的小程序的开发,总结了一些小程序的开发心得,方便自己以后的查阅也方便同仁少踩点坑。文章底部的技巧类小程序的识别小程序二维码功能,小程序的高斯模糊,都是自己填的坑。 前言:这段时间一直负责公司的小程序的开发,总结了一些小程序的开发心得,方便自己以后的查阅也方便同仁少踩点坑。文章底部的技巧类小程序的识别小程序二维码功能,小程序的高斯模糊,都是自己填的坑。欢迎交流。 ...
阅读 1775·2021-11-18 13:21
阅读 1893·2021-10-18 13:30
阅读 1483·2021-10-12 10:13
阅读 865·2021-10-09 09:43
阅读 5319·2021-09-22 15:13
阅读 3512·2021-08-11 10:22
阅读 894·2019-08-30 13:46
阅读 3495·2019-08-30 13:21