redis之分片集群
# 0. 前言
在海量的数据面前,单个 redis 实例的能力是有限的,无可能无限增大的内存,所以必须要构建分片集群,来横向拓展来支持保存更多的数据。
# 1. 分片集群是什么?
分片集群主要是将 redis 的数据划分成多份,每一份都由一个实例来保存,然后由多个实例来组成一个一个集群。
为什么使用分片集群而不是增加内存?
- 在 RDB 进行持久化时,会 fork 子进程来完成,fork 操作会阻塞主线程的时长与数据量成正比。
- 硬件成本,把内存从 32GB 扩展到 64GB 还算容易,但是,要想扩充到 1TB,成本太高。
# 2. 分片集群的组建
在 Redis Cluster 方案中,一个切片集群有 16384 个哈希槽,每个键值对的 key 会进行计算并对 16384 取模,分配到一个对应编号的哈希槽。
在使用 cluster create 命令创建集群时,会自动将 16384 个槽平均分配到集群实例中。也可以通过 cluster meet 命令手动建立实例间的连接形成集群,再使用 cluster addslots 命令指定每个实例上的哈希槽的个数。
在手动分配哈希槽时,需要把 16384 个槽都分配完,否则 Redis 集群无法正常工作。
数据分配到哪个实例?
数据根据分配到哈希槽编号写入到对应的实例中。
# 3. 客户端如何读取分片集群
客户端从哪个实例中读取数据?
客户端与集群建立连接后,实例会将哈希槽的分配信息发送给客户端。客户端将哈希槽信息缓存在本地,当客户端操作键值对时,先计算得到对应的哈希槽,再发送请求到相应的实例。
但哈希槽与实例的映射关系并不是一成不变的,可能会发生变化:
- 集群中,实例有新增或删除,redis 会重新分配哈希槽
- 为了负载均衡,redis 会将哈希槽在所有实例中重新分布。
当映射关系变化时,客户端如何感知?
重定向机制。客户端发送数据给一个实例,但是并没有这个键值对的哈希槽信息,则实例会发送 MOVED
命令结果给客户端,包含新实例的访问地址。客户端更新本地缓存实例与哈希槽的映射关系,并向新实例发送请求。
GET hello:key
(error) MOVED 13320 172.16.19.5:6379
2
客户端请求的哈希槽 13320 在 172.16.19.5 这个实例上
如果访问的数据正在迁移的哈希槽,该如何访问数据?
Slot 2 正在从实例 2 往实例 3 迁移,key1 和 key2 已经迁移过去,key3 和 key4 还在实例 2。客户端向实例 2 请求 key2 后,就会收到实例 2 返回的 ASK 命令。
ASK 命令表示两层含义:第一,表明 Slot 数据还在迁移中;第二,ASK 命令把客户端所请求数据的最新实例地址返回给客户端,此时,客户端需要给实例 3 发送 ASKING 命令,然后再发送操作命令。
和 MOVED 命令不同,ASK 命令并不会更新客户端缓存的哈希槽分配信息。
ASK 命令的作用只是让客户端能给新实例发送一次请求,而不像 MOVED 命令那样,会更改本地缓存,让后续所有命令都发往新实例。
客户端为什么可以在任意一个实例获取所有的哈希槽信息?
redis 实例之间也会建立连接,分享自己的哈希槽信息。
# 4. 参考文章
- 本文主要是学习《极客时间-redis 核心技术与实战》专栏总结而来