-
用Redis集群存储核心数据,以商品ID为key,库存数量为value。
-
同时缓存商品静态信息,减少数据库查询。
-
库存扣减使用Lua脚本,确保原子操作。
-
设置库存售罄标记
sold_out:商品ID。 -
秒杀结束后,通过异步任务将最终库存同步到数据库。
-
限流:前端限流,比如按键置灰,nginx限流,令牌桶或漏桶算法;
-
消息队列:削峰填谷;
-
流量控制:限流、消息队列削峰填谷;
-
缓存预热:提前存到缓存里面,减少查数据库次数;
-
库存扣减原子化:redis缓存+lua脚本防超卖,实现库存的原子性扣减;
-
分层架构:静态资源通过CDN加速,页面静态化,减少动态请求。
-
应用层:业务逻辑处理,使用本地缓存Caffeine缓存热点商品信息,执行用户级别限流。
-
缓存层:Redis集群预存库存,并提供原子扣减操作。
-
消息队列:削峰填谷,将订单创建异步化,保护数据库。
-
数据库层:MySQL主从架构,库存表使用乐观锁或行锁保证最终一致性,订单表设置唯一索引。
核心:
-
缓存预热:秒杀开始前将商品库存加载到Redis。
-
库存预扣减(Redis原子操作):使用Lua脚本判断库存>0并执行DECR,同时记录用户已抢标记SET NX。若成功则返回“排队中”并发送MQ消息,否则返回“已售罄”。
-
异步订单处理:消费者从MQ拉取消息,生成订单并执行数据库最终库存扣减。若失败则回滚Redis库存。
如何防止超卖:
-
前端限流:按钮置灰、验证码
-
用户级限流:Redis记录用户请求频率,防止单用户高频刷单。
-
Redis预扣减:使用Lua脚本原子性地检查并扣减库存
-
数据库乐观锁:更新库存时使用行锁或带版本号的乐观锁,确保最终扣减不超过实际库存。
-
订单唯一索引:订单表设置用户+商品的联合唯一索引,防止同一用户重复下单。
-
消息队列异步处理:通过MQ削峰,消费者单线程处理,避免数据库并发冲突。
-
补偿机制:若数据库扣减失败,通过消息或定时任务回滚Redis库存,保证最终一致性。
-
水平扩展:增加服务实例,负载均衡分发流量。
-
缓存优化:引入多级缓存本地Caffeine + Redis,减少数据库压力。
-
数据库优化:索引优化、读写分离、分库分表、使用NoSQL替代复杂查询。
-
异步化:将非核心流程比如说日志、统计之类的啊,改为消息队列异步处理。
-
代码优化:减少循环、并行流、池化技术、JVM调优。
-
CDN加速:静态资源CDN,减少后端带宽。
-
分析监控:CPU、内存、DB连接数、慢SQL、GC情况。
-
优化数据库:加索引、SQL重写、分库分表、读写分离。
-
引入缓存:热点数据(商品信息)缓存到Redis。
-
异步解耦:订单创建后,后续处理(库存、物流)用MQ异步执行。
-
限流降级:Sentinel或Hystrix保护系统,超时快速失败。
-
扩容:增加应用实例和DB从库。
-
线程池调优:调整核心线程数、队列大小,避免任务堆积。
-
覆盖索引:只查询索引字段,再根据id回表:
SELECT * FROM user INNER JOIN (SELECT id FROM user ORDER BY id LIMIT 100000,10) AS tmp ON user.id=tmp.id。 -
子查询优化:先查出起始id:
SELECT * FROM user WHERE id >= (SELECT id FROM user ORDER BY id LIMIT 100000,1) ORDER BY id LIMIT 10。 -
禁用深分页:业务上限制最多查看前100页,或使用搜索引擎(Elasticsearch)的
search_after。
-
加缓存,减少 DB 访问。
-
异步化:非核心逻辑丢 MQ 异步处理。
-
扩容服务器,集群部署。
-
接口限流、熔断、降级,保护核心链路。
-
DB 读写分离、分库分表,加索引优化 SQL。
-
静态资源放 CDN,网关层做缓存。
CPU 100%
-
top 找到高 CPU 进程
-
printf %x 转线程 ID
-
jstack 查线程栈,定位死循环、频繁 GC、锁竞争
OOM
-
开启 -XX:+HeapDumpOnOutOfMemoryError
-
MAT 分析 dump,看大对象、内存泄漏
-
检查线程池、缓存、连接池是否无界增长
-
全局唯一ID:客户端生成请求ID(UUID),服务端通过Redis或数据库记录已处理ID,处理前检查SET NX,若存在则拒绝。
-
数据库唯一约束:订单号设为唯一索引
-
状态机:订单状态流转,只有待支付状态才能扣款,避免重复处理。
-
去重表:建立一个去重表,利用主键或唯一索引防重。
-
分布式锁:使用Redis或ZooKeeper对业务key加锁,保证同一时刻只有一个请求处理。
-
Token机制:下单前先获取token,下单时携带并删除token,保证一次有效。
-
原子性:使用
SET key value NX PX 30000同时设置锁和过期时间。 -
唯一标识:value设为请求唯一ID,解锁时校验,防止误删其他线程的锁。
-
锁续期:使用Redisson的看门狗机制,定时续期防止业务未完成锁过期。
-
可重入:记录线程持有次数,可用ThreadLocal+Redis hash实现。
注意点:
-
过期时间需大于业务执行时间,否则需续期。
-
解锁使用Lua脚本保证原子性。
-
避免死锁:设置过期时间。
-
性能:避免大key,减少网络开销。
-
UUID:简单,但无序、太长,不适合做数据库主键。
-
数据库自增:使用数据库自增ID,但单点性能瓶颈,可设步长实现多实例。
-
Redis INCR:基于Redis原子自增,性能高,但需考虑持久化。
-
雪花算法Snowflake:64位长整型,由时间戳(41位)+机器ID(10位)+序列号(12位)组成。优点:趋势递增、高性能。需解决时钟回拨问题(等待或记录上次时间戳)。
-
美团Leaf:基于雪花算法和数据库号段模式,提供高可用。
-
发号器:生成唯一短码。可用自增ID(数据库)或哈希(MD5截取,需处理冲突)。
-
存储:使用Redis做缓存(key=短码,value=长链接),持久化到MySQL。
-
重定向:访问短链接时,查Redis,若不存在则查DB,返回302或301跳转长链接。
-
防攻击:限流、黑名单、验证码。
-
统计:记录点击次数、IP、时间等,异步写入消息队列。
-
过期:设置过期时间,定时清理。
-
请求携带唯一流水号(订单号+请求序列),服务端用Redis的
SET NX记录该流水号,若已存在则拒绝。 -
数据库订单表增加唯一约束(支付流水号),重复插入会报错,事务回滚。
-
使用分布式锁:对订单ID加锁,处理完释放。
-
状态机:订单状态从“待支付”到“支付中”到“已支付”,更新时加乐观锁(
update order set status='PAID' where id=xx and status='PENDING')。
-
查询条件未遵循最左前缀(只查b或c)。
-
使用范围查询(>、<、between)后,后续列索引失效(如
a>10 and b=5,b不会走索引)。 -
对索引列使用函数或计算。
-
隐式类型转换(如字符串字段查数字)。
-
LIKE以通配符开头(
%abc)。 -
OR条件中有非索引列。
-
数据分布:优化器认为全表扫描比索引更快(表中大部分数据满足条件)。
-
异步化:使用
CompletableFuture.supplyAsync将调用放入独立线程池,避免阻塞主线程。 -
线程池隔离:为外部接口单独创建线程池,设置最大线程数、队列大小,防止耗尽容器线程。
-
超时设置:HTTP客户端设置连接超时、读取超时(如2秒)。
-
熔断降级:使用Sentinel或Hystrix,当失败率达到阈值时快速失败,返回默认值。
-
缓存:对非实时数据缓存结果。
-
重试机制:设置重试次数,但需配合幂等和退避策略。
-
限流:限制对第三方接口的访问频率。
在MySQL中,对字段(name, school)建立唯一联合索引与普通联合索引相比,普通联合索引的写入效率更高。原因在于:
-
唯一索引在每次插入或更新时,需要额外检查唯一性约束,即判断是否存在相同键值的记录。这通常涉及一次索引查找操作,可能还会引入锁(间隙锁)来防止幻读,增加了开销。
-
普通索引则无需进行唯一性检查,只需直接插入或更新索引条目,因此写入速度更快。
-
在并发写入场景下,唯一索引的检查还可能引发更多的锁竞争,进一步降低性能。
因此,从写入性能角度,普通联合索引优于唯一联合索引。但实际选择需结合业务需求如果字段组合必须唯一,则必须使用唯一索引以保证数据完整性,不能为了性能而牺牲正确性。
令牌桶:以固定速率向桶中放令牌,请求需获取令牌才能处理,桶满则丢弃令牌。可应对突发流量(桶内令牌积累)。
漏桶:以固定速率处理请求,请求进入桶中排队,桶满则丢弃。流量整形平滑。
实现:
-
单机:Guava RateLimiter(令牌桶),基于内存。
-
分布式:Redis + Lua脚本,存储桶状态(令牌数、最后更新时间),保证原子性。
区别:
-
单机限流:仅针对单个实例,无法控制集群总流量,容易因负载不均导致局部超限。
-
分布式限流:所有实例共享限流状态,精确控制集群总QPS,但依赖Redis等中心存储,有网络延迟和单点风险(可集群化)。实现复杂,需考虑时钟同步和原子性。