当前位置: 首页 > news >正文

Redis缓存穿透、击穿和雪崩的理解和解决思路

Redis的缓存穿透

缓存穿透是指那些查询请求所要获取的数据既不在缓存(Redis)中,也不在数据库(例如:MySQL)中,因此每次请求都会直接访问数据库。这种情况通常由以下几种情形引起:

  • 恶意请求:恶意用户或攻击者故意发送不存在的数据请求,以造成系统负担或者尝试暴力攻击数据库。
  • 随机性访问:大量请求发送到一个不存在的键,导致每次请求都落到数据库上,尤其是在高并发情况下。
  • 过期数据:缓存中的数据过期或被淘汰,而此时数据库中也不存在这些数据,因此新的请求会穿透缓存直接访问数据库。

常见的解决方案有两种:

缓存空对象:

实施方式:当请求查询的数据在缓存中不存在时,仍将一个空对象或者默认值存入缓存中,有效期根据需求设定,以防止大量的无效请求穿透到数据库。

优点:

  • 实现简单,维护方便。
  • 可以快速响应客户端请求,减少对数据库的直接访问。

缺点:

  • 需要额外的内存空间来存储空对象或者默认值。
  • 可能导致短期内的数据不一致,如果数据库中数据发生变化而缓存中的空对象未及时更新。

布隆过滤器:

实施方式:在缓存层之前引入布隆过滤器,用于快速判断请求的键是否可能存在于缓存中,从而减少对缓存和数据库的无效查询。

优点:

  • 占用内存较少,不会存储多余的数据。
  • 能够快速判断请求是否可能命中缓存,避免无效查询。

缺点:

  • 实现较为复杂,需要维护布隆过滤器的哈希函数和位数组。
  • 存在一定的误判概率,即布隆过滤器可能会误判某个数据存在于缓存中,但实际上并不存在。

在实际应用中,可以根据具体情况选择合适的解决方案或者结合两种方法来提高系统的性能和可靠性。例如,可以使用布隆过滤器来过滤掉明显不存在于缓存中的请求,同时对于偶尔的缓存穿透情况,可以通过缓存空对象来缓解对数据库的压力。

Redis的缓存击穿

Redis缓存击穿是指缓存(Redis)中不存在但数据库(例如:MySQL)中存在的数据,在并发访问下,导致大量请求直接穿透缓存,直接访问数据库,引起数据库压力过大的情况。这通常发生在某个缓存键过期或者被删除后,恰好有大量并发请求同时访问该键对应的数据。

针对这个问题,常见的解决方案包括互斥锁和逻辑过期两种方法。

互斥锁方案

原理: 使用锁来保证在缓存失效时,只允许一个线程重新查询数据库并更新缓存,其他线程需要等待。

具体实现:

  • 当一个线程发现缓存失效时,尝试获取互斥锁。
  • 如果获取锁成功,该线程负责重新查询数据库并更新缓存。
  • 其他线程在尝试获取锁时会被阻塞,直到锁被释放。
  • 释放锁后,其他线程可以再次尝试获取锁并继续处理请求。

优点:

  • 简单直接,易于实现。
  • 能够确保数据的一致性,因为只有一个线程能够更新缓存。

缺点:

  • 锁竞争可能导致性能下降,特别是在高并发场景下。
  • 可能出现死锁问题,需要谨慎设计锁的获取和释放逻辑。

逻辑过期方案

原理: 通过逻辑判断来避免真实过期时间导致的缓存击穿问题,即在缓存失效时,允许多个线程同时访问数据库,但只有一个线程负责更新缓存。

具体实现:

  • 在缓存中存储一个额外的逻辑过期时间,该时间比实际的过期时间要早。
  • 当缓存失效时,所有线程可以同时访问数据库。
  • 第一个获取到数据的线程会尝试获取互斥锁,并更新缓存。
  • 其他线程在发现缓存失效后,检测到逻辑过期时间未到时,直接返回之前的脏数据。

优点:

  • 可以避免锁竞争导致的性能问题,允许多个线程并发访问数据库。
  • 对于用户体验较好,因为大部分请求能够快速返回旧数据。

缺点:

  • 需要额外的逻辑来处理过期时间判断和数据更新,实现较复杂。
  • 在数据更新完成前,可能会返回旧数据,存在数据不一致的风险。

对比与选择

  • 互斥锁方案适合对数据一致性要求高、并发量较大的场景,尤其是需要严格保证数据更新顺序的情况。
  • 逻辑过期方案适合对即时性要求较高、并发量不是特别高的场景,能够在一定程度上减少数据库访问压力。

Redis的缓存雪崩

Redis的缓存雪崩是指在缓存中大量的键(key)同时过期,导致大量请求直接打到数据库,从而引起数据库压力剧增,甚至宕机的情况。这种情况通常发生在缓存服务器重启、大规模的缓存并发失效、或者缓存(Redis)服务器宕机重启等情况下。

解决方案:

  • 给不同的Key的TTL添加随机值:通常情况下,缓存的过期时间设置为固定值会导致大量缓存在同一时间失效,从而引发雪崩效应。通过给每个缓存键设置稍微不同的过期时间(比如在原本过期时间的基础上加上一个随机值),可以有效分散缓存失效的时间点,减少集中失效带来的压力。
  • 利用Redis集群提高服务的可用性:使用Redis集群可以提高Redis服务的可用性和容错能力。Redis集群能够分散请求到多个节点上,即使某个节点发生故障或者重启,其他节点仍然可以继续提供服务,从而减少单点故障的影响。
  • 给缓存业务添加降级限流策略:在缓存失效时,为了避免大量请求直接打到数据库,可以实施降级策略,例如返回默认值、空值或者直接拒绝服务,避免数据库被大量请求压垮。同时,也可以通过限流策略控制并发访问量,防止系统过载。
  • 给业务添加多级缓存:使用多级缓存架构,比如本地缓存(如内存)、分布式缓存(如Redis)、以及后备缓存(如数据库),可以有效应对单一缓存失效带来的问题。本地缓存可以提供快速响应,而分布式缓存则能够提供高可用性和扩展性,后备缓存则作为最终的备份数据源。

总体而言,这些解决方案结合起来能够有效地减少缓存雪崩问题的发生,并保证系统在高负载时依然能够稳定运行。

相关文章:

  • 北京网站建设多少钱?
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • 如何有效管理众多账号密码:选择适合你的密码管理工具
  • kafka架构+原理+源码
  • PHP $_POST 变量
  • 全链路追踪 性能监控,GO 应用可观测全面升级
  • Python数值计算(9)
  • 大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
  • 【iOS】—— iOS持久化
  • 【Git】.gitignore全局配置与忽略匹配规则详解
  • 快速识别音频文件转成文字
  • 实战:安装ElasticSearch 和常用操作命令
  • C#中的异步编程:Task、Await 和 Async
  • Settings搜索系统SettingsIntelligence
  • 数说故事 | 大数据洞察宠物消费市场数据
  • java-静态工具类获取YAML配置文件中的值
  • Vue 模版编译原理
  • [PHP内核探索]PHP中的哈希表
  • 【402天】跃迁之路——程序员高效学习方法论探索系列(实验阶段159-2018.03.14)...
  • 【译】理解JavaScript:new 关键字
  • CAP 一致性协议及应用解析
  • CentOS7简单部署NFS
  • cookie和session
  • iOS | NSProxy
  • java B2B2C 源码多租户电子商城系统-Kafka基本使用介绍
  • mac修复ab及siege安装
  • Redis学习笔记 - pipline(流水线、管道)
  • Spark VS Hadoop:两大大数据分析系统深度解读
  • v-if和v-for连用出现的问题
  • 反思总结然后整装待发
  • 移动端解决方案学习记录
  • 深度学习之轻量级神经网络在TWS蓝牙音频处理器上的部署
  • ​​​​​​​ubuntu16.04 fastreid训练过程
  • ​Java并发新构件之Exchanger
  • # 透过事物看本质的能力怎么培养?
  • ###51单片机学习(1)-----单片机烧录软件的使用,以及如何建立一个工程项目
  • #使用清华镜像源 安装/更新 指定版本tensorflow
  • (16)UiBot:智能化软件机器人(以头歌抓取课程数据为例)
  • (JS基础)String 类型
  • (Redis使用系列) Springboot 在redis中使用BloomFilter布隆过滤器机制 六
  • (二十九)STL map容器(映射)与STL pair容器(值对)
  • (附源码)计算机毕业设计SSM基于java的云顶博客系统
  • (论文阅读40-45)图像描述1
  • (亲测有效)推荐2024最新的免费漫画软件app,无广告,聚合全网资源!
  • (一)kafka实战——kafka源码编译启动
  • (一)WLAN定义和基本架构转
  • (一)硬件制作--从零开始自制linux掌上电脑(F1C200S) <嵌入式项目>
  • ... 是什么 ?... 有什么用处?
  • .NET MAUI Sqlite程序应用-数据库配置(一)
  • .Net 中Partitioner static与dynamic的性能对比
  • .NET开源项目介绍及资源推荐:数据持久层
  • .net连接MySQL的方法
  • .NET命令行(CLI)常用命令
  • .NET使用HttpClient以multipart/form-data形式post上传文件及其相关参数
  • .Net下C#针对Excel开发控件汇总(ClosedXML,EPPlus,NPOI)
  • .net专家(高海东的专栏)
  • @property python知乎_Python3基础之:property