-
持久化:通过RDB快照或AOF日志,将数据持久化到磁盘,宕机重启后可恢复数据。
-
主从复制:采用主从架构,主节点宕机后,从节点可以提升为主节点。
-
哨兵模式:哨兵节点监控主节点状态,当主节点宕机时,自动进行故障转移,选举新的主节点,并通知客户端更新连接。
-
Redis Cluster:集群模式通过分片和复制,部分节点宕机不影响整体服务,只要每个分片有至少一个从节点可用,集群能自动完成故障转移。
-
String(字符串):可以存储字符串、整数或浮点数。支持原子增减操作。适用场景:缓存对象、计数器、分布式锁等。
-
Hash(哈希):键值对集合,类似Java的
Map<String, String>。适合存储对象(如用户信息),可以单独修改对象的某个字段,节省内存和网络开销。 -
List(列表):双向链表,支持从两端插入和弹出。适用场景:消息队列、最新消息列表、时间线等。
-
Set(集合):无序唯一集合,支持交集、并集、差集等操作。适用场景:标签系统、共同好友、抽奖去重等。
-
Sorted Set(有序集合):每个元素关联一个分数score,按分数排序。适用场景:排行榜、延迟队列、带权重的任务调度等。
-
Bitmap(位图):本质是字符串,但可对位进行操作。适用场景:用户签到、在线状态统计、布隆过滤器实现。
-
HyperLogLog:基数估算算法,用于统计唯一值数量。适用场景:UV统计、独立IP数统计。
-
Geospatial(地理空间):存储经纬度,支持计算距离、范围查询等。适用场景:附近的人、位置服务。
-
String:底层使用简单动态字符串(SDS),支持动态扩容,记录长度和空闲空间,保证二进制安全。
-
List:底层使用快速列表(quicklist),结合了压缩列表(ziplist)和双向链表。当元素较少且较小时使用压缩列表,否则转换为双向链表。
-
Hash:底层使用压缩列表或哈希表(dict)。当元素少且键值对较小时用压缩列表,否则用哈希表。
-
Set:底层使用整数集合(intset)或哈希表。当所有元素都是整数且数量较少时用整数集合,否则用哈希表。
-
Zset:底层使用压缩列表ziplist或跳表skiplist加哈希表。当元素少时用压缩列表,否则用跳表(有序)和哈希表(存储分值)配合。
-
所有数据存储在内存中,读写速度快,避免了磁盘I/O延迟。(内存操作)
-
IO多路复用技术,单线程可以高效处理大量并发连接。(非阻塞I/O)
-
单线程避免了线程切换和锁竞争的开销。(避免上下文切换)
-
底层数据结构针对性能做了优化(SDS、跳表、压缩列表)。(数据结构优化)
-
命令执行过程简单,无复杂计算,瓶颈通常在网络或内存,而非CPU。(纯命令执行)
-
Redis利用操作系统的IO多路复用机制(比如说epoll、kqueue、select等)实现单线程处理多个客户端连接。
-
原理是:内核同时监听多个文件描述符(socket),当某个描述符就绪(可读/可写)时,通知Redis进程进行处理。这样Redis单线程可以高效处理大量并发连接,避免为每个连接创建线程的开销,结合非阻塞IO和事件驱动模型,实现高吞吐。
常见用途:
-
缓存:缓存热点数据(用户信息、商品详情),降低数据库压力,提高响应速度。
-
分布式锁:基于
SETNX或 Redisson实现分布式锁,控制共享资源访问。 -
计数器:使用
INCR实现点赞数、访问量等原子计数。 -
排行榜:利用Sorted Set实现实时排行榜。
-
消息队列:使用List或Stream实现轻量级消息队列。
选择Redis而非其他缓存的原因:
-
支持复杂数据类型,满足多样化需求。(丰富的数据结构)
-
RDB和AOF支持数据持久化,防止重启丢失。(持久化)
-
主从复制、哨兵、集群提供高可用方案。(高可用)
-
支持原子性操作,实现复杂逻辑。(Lua脚本)
-
读写性能极佳,适合高并发场景。(性能高)
Redis提供两种持久化机制:
-
RDB(快照):将某一时刻的内存数据,以二进制的方式写入磁盘;
-
优点:文件紧凑,适合备份和灾难恢复;恢复速度快;对性能影响小(主进程fork子进程处理)。
-
缺点:可能丢失最后一次快照后的数据;fork子进程时可能短暂阻塞主进程。
-
-
AOF(追加文件):每执行一条写操作命令,就把该命令以追加的方式写入到一个文件里;
-
优点:数据安全性高,文件可读。
-
缺点:文件体积大;恢复速度慢;写性能可能略受影响。
-
-
混合持久化(Redis 4.0+):结合RDB和AOF,AOF 重写生成的基础数据采用 RDB 格式,后续变化采用 AOF 命令格式,兼顾恢复速度和数据安全性。
我进一步问一下,恢复时哪个更快?
-
Redis重启恢复数据时,RDB的恢复速度通常比AOF快得多
-
RDB文件是Redis在某个时间点生成的二进制数据快照,它直接记录了内存中的数据形态。重启时,Redis只需将这个文件一次性加载到内存中即可完成恢复,这个过程非常高效。
-
相比之下,AOF文件记录的是所有写操作的命令日志,是一种文本格式。重启恢复时,Redis需要逐条重新执行(回放)这些命令,才能重建出最终的数据集。这个过程相当于把数据“重演”一遍,自然要慢得多
-
定时删除(不单独使用):为每个过期键设置定时器,到期立即删除,但消耗CPU。
-
惰性删除:每次访问键时检查是否过期,若过期则删除。节省CPU,但可能堆积过期键占用内存。
-
定期删除:每隔一段时间(默认100ms)随机抽取一部分键检查并删除过期键。
当内存达到 maxmemory 限制时,Redis根据配置的内存淘汰策略处理(LRU、LFU、随机删除)
-
allkeys-lru:从所有键中淘汰最近最少使用的。
-
volatile-lru:从设置了过期时间的键中淘汰最近最少使用的。
-
allkeys-random:随机淘汰任意键。
-
volatile-random:从设置了过期时间的键中随机淘汰。
-
volatile-ttl:从设置了过期时间的键中淘汰剩余时间最短的。
-
allkeys-lfu(4.0+):从所有键中淘汰最不经常使用的。
-
volatile-lfu(4.0+):从设置了过期时间的键中淘汰最不经常使用的。
分布式锁通常设置过期时间防止死锁,但若业务执行时间过长,锁可能提前释放。延长过期时间的常用方法是使用“看门狗”机制:
-
客户端在获取锁成功后,启动一个守护线程或定时任务,定期(每过期时间的1/3)检查锁是否仍然持有,若持有则重新设置过期时间(续期)。
-
在 Redis 中,可以使用 Lua 脚本原子性地检查和更新过期时间,确保续期操作安全。
-
Redisson 等客户端内置了看门狗实现,默认每10秒续期一次,直到锁释放。
-
需要注意续期操作需与锁持有者绑定,避免其他线程误续期。通常使用唯一标识(UUID)作为锁的value,续期时校验 value 是否一致。
- 缓存穿透:查询一个不存在的数据,缓存和数据库中都没有,导致每次请求都落到数据库,可能压垮数据库。
解决:缓存空值;使用布隆过滤器提前拦截不存在的数据。
- 缓存击穿:某个热点key突然过期,大量并发请求同时查询该key,导致直接访问数据库。
解决:使用互斥锁控制只有一个线程去数据库加载;或者设置热点key永不过期。
- 缓存雪崩:大量key同时过期或Redis宕机,导致大量请求落到数据库,可能引发数据库崩溃。
解决:随机过期时间;使用高可用集群;降级限流;提前预热。
- 区别:穿透是数据不存在,击穿是单个热点key过期,雪崩是大量key同时过期或服务不可用。
-
先更新数据库,再删除缓存(Cache-Aside(旁路缓存)模式)
-
读:先读缓存,若不存在则读数据库,然后写缓存。
-
写:先更新数据库,成功后删除缓存。
-
先更新数据库再删缓存可能删除缓存失败导致脏数据。使用消息队列每隔一段时间重试直到成功为止或者订阅binlog异步删除。
-
改进使用延迟双删(先删缓存,更新数据库,休眠一小段时间再删一次。为了删除在更新数据库期间可能产生的并发读请求重新写入的脏数据。休眠时间需大于读请求将数据写入缓存的时间,确保第二次删除能清除脏数据。)
-
采用先更新数据库,再删除缓存,并配合消息队列异步重试删除,同时设置缓存过期时间(TTL)兜底。对于并发要求高的场景,使用Canal订阅MySQL binlog,异步更新缓存。
-
重试机制:将删除失败的key放入消息队列,异步重试删除,直到成功。
-
设置缓存过期时间:即使删除失败,缓存最终也会过期,但过期时间内可能不一致。
-
binlog监听:通过监听数据库binlog,解析出变更数据,再异步删除缓存(Canal)。
-
双删策略:结合延迟双删,在更新数据库前先删一次缓存,更新后再延迟删一次,降低不一致窗口。
为什么会缓存删除失败?
-
Redis 超时、网络抖动
-
Redis 集群主从切换、节点不可用
-
并发下被其他操作覆盖
-
程序异常、事务提交后才执行删缓存,中间挂了
-
redis+mysql就一级缓存
-
两级缓存情况下,数据一致性分为读和写:
-
读:
-
优先读本地Caffeine缓存,命中则直接返回。
-
未命中则查询Redis,若存在则回填本地缓存后返回。
-
Redis也未命中则查询数据库,回填Redis和本地缓存后返回。
-
-
写:(先更新数据库再删缓存)
- 先更新数据库,然后将Redis中的对应缓存删除,广播本地缓存失效消息,通过可靠机制通知所有应用节点删本地缓存。
-
广播怎么做的?常用方式:
-
Redis Pub/Sub:发布一个缓存失效事件,各节点订阅相应频道,收到后删除本地Caffeine缓存。
-
消息队列:发送失效消息,各节点消费后清除本地缓存。优点是可持久化、保证最终送达。
-
大Key:某个key对应的value值所占的内存空间比较大,导致Redis的性能下降、内存不足、数据不均衡以及主从同步延迟等问题。
-
危害:占用内存高;操作耗时可能阻塞Redis;网络传输慢;集群模式下导致数据倾斜。
-
处理:拆分大key;压缩数据;使用合适的数据结构;设置合理的淘汰策略;监控并报警。
-
-
热Key:指某个key在短时间内被大量访问,比如热门商品。
-
危害:单节点压力过大,可能导致Redis实例CPU升高甚至宕机;影响整体性能。
-
处理:本地缓存;读写分离;将热key分散到多个节点;限流降级。
-
主从复制流程(全量同步和增量同步两种方式):
-
全量同步(首次或从节点落后太多):
-
从节点发送
PSYNC命令请求同步。 -
主节点执行
BGSAVE生成RDB快照,同时将新写命令记录到缓冲区。 -
主节点将RDB文件发送给从节点,从节点加载RDB恢复数据。
-
主节点将缓冲区中的命令发送给从节点,从节点执行,完成同步。
-
-
增量同步(从节点重启或短暂断开):
-
从节点发送
PSYNC带上主节点runid和复制偏移量。 -
主节点检查偏移量是否在复制积压缓冲区中,若在则发送缺失的增量命令;否则触发全量同步。
-
-
哨兵(Sentinel)是Redis的高可用解决方案,主要功能:不断检查主从节点是否正常运行。当主节点故障时,选举一个从节点升级为新主节点,并通知其他从节点复制新主。客户端可通过哨兵获取当前主节点地址,将故障转移结果通知管理员。
-
哨兵解决了主从复制中的单点故障问题,实现了主节点自动切换,保证服务高可用。它通常以集群形式部署,自身也具备高可用。
-
提供了RDB快照和AOF日志两种持久化方案,确保数据不会因为服务器问题而丢失。(持久化)
-
Redis具有主从复制功能,一个主节点可以复制到多个从节点,从而实现数据冗余。这不仅提高了数据的可用性,还能实现读分离,以提高读操作的吞吐量。(主从复制)
-
Redis Sentinel是一个监控和故障恢复系统。它可以监控主节点和从节点的健康状况,并在主节点故障时自动进行故障转移,将某个从节点提升为新的主节点。(哨兵机制)
-
Redis Cluster实现了自动分片,使得数据分布在不同的节点上。在某个节点故障时,其他节点依然能够提供服务,同时集群还支持复制和故障转移机制。(集群)
Redis Cluster采用无中心化架构,数据分片基于哈希槽(hash slot):
-
整个集群有16384个哈希槽,每个key通过
CRC16(key) % 16384计算所属槽位。 -
集群中的每个主节点负责一部分哈希槽(节点A负责0-5000,节点B负责5001-10000等)。
-
客户端直连任意节点,节点会计算槽位,若数据不在本节点,则返回MOVED重定向。
-
集群支持主从复制,每个主节点可以有多个从节点,从节点负责复制和故障转移。
-
扩容时,可以动态调整槽位分配,将部分槽迁移到新节点。
Redis 6.0引入多线程主要针对网络I/O处理,而命令执行仍然是单线程的。原因:
-
随着硬件发展,网络I/O可能成为瓶颈,单线程处理大量连接时,CPU忙于读写网络数据,无法充分利用多核。
-
多线程I/O将网络数据的读写分配到多个线程,提高并发处理能力,减少主线程阻塞。
-
命令执行保持单线程,避免了复杂并发控制,保持简单性和稳定性。
多线程I/O不一定比单线程快,取决于场景:
-
优点:在高并发网络请求下,多线程I/O能显著提升吞吐量,尤其当Redis处理简单命令且带宽足够时。
-
缺点:对于CPU密集型命令(慢查询),多线程I/O帮助不大,如果网络不是瓶颈,单线程可能已经足够。
所以Redis 6.0的多线程是可配置的(默认关闭),用户可根据实际场景选择开启。