您现在的位置是:主页 > 数据库技术 > 数据库技术

如何深入了解Redis中的Codis

IDCBT2022-01-08服务器技术人已围观

简介这篇文章给大家介绍如何深入了解Redis中的Codis,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。 场景 在大数据高并发场景下,使用单个redis实例,即使redis的

这篇文章给大家介绍如何深入了解Redis中的Codis,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。

场景

在大数据高并发场景下,使用单个redis实例,即使redis的性能再高,也会变的非常吃力,

首先,数据量越大,redis占用内存就越大,进一步导致rdb文件过大,这种情况会使的主从全量同步时间过长,同时实例重启时,加载过大的rdb也会让启动时间变长。【相关推荐:Redis视频教程】

其次在CPU的使用上,单个实例的Redis只能使用一个CPU核心,一个核心应多过多的数据,也会显得力不从心,

因此需要一个集群方案,将巨大的数据量由一台实例分散到多台实例上,从Redis流行到官方支持自己的Cluster方案之间,第三方也在自己开发支持集群的组件,Codis就是其中之一,

Codis使用Go语言开发,在Redis与客户端中间充当代理的角色,使用Redis协议,所以客户端直接连接Codis,向其发送指令即可,Codis负责转发指令给Redis,最后接收返回结果再返回给客户端,

Codis代理的Redis实例构成一个Redis集群,当集群空间也不足以使用时,可以动态扩容,继续增加Redis实例,与此同时,客户端使用的sdk不需要做任何改动,只需由原来的连接redis改成连接codis即可,

Codis自身也可以采取一个集群,来保证自身的高可用,由于其本身就是无状态的,只负责转发内容,增加多个Codis没有副作用还可以保证QPS的提高,当其中一个Codis挂掉时,还可以使用别的。

原理

Codis将特定的Key转发到特定的Redis实例,集群中每个实例都保存一部分Key,降低其他实例的压力,同时所有实例的数据加起来,就是一份完整的信息。

Codis默认划分了1024个槽位(slot),集群中的每个Redis实例对应一部分槽位,Codis会在内存中维护槽位与Redis实例的对应关系,

槽位的数量默认是1024,可以更改,如果集群节点比较多,可以将数字调大。

当接收到客户端发送过来的key时,Codis对该key进行 crc32 运算得出一个 hash 值,

再将 hash 后的整数值对 1024(槽位数量) 进行取模得到一个余数,该余数就是Key将被保存到的槽位,有了槽位就可以找到这个key该发到哪个redis实例上了。

伪代码:

hash = crc32(command.key) # 计算hash值
slot = hash % 1024 # 取模得到槽位
redisInstance = slots[slot].redis # 得到redis实例
redis.do(command) # 执行命令复制代码

集群槽位同步

Redis与槽位的映射关系存在Codis的内存当中,因此Codis集群需要考虑保证每个节点中的槽位映射关系同步,所以Codis采用 Zookeeper、Etcd 分布式配置存储中间件来持久化槽位映射关系,保证Codis集群之间的数据同步,

标签:

很赞哦! ()

本栏推荐