-
RocketMQ
-
优点:功能全面,原生支持事务消息、延迟消息、死信队列等复杂特性。单机支持万级Topic,适合金融、电商等对数据一致性和功能丰富度要求高的核心业务。
-
缺点:生态成熟度相比Kafka稍弱,文档和社区支持主要在国内。
-
适用场景:业务消息、事务消息、延迟消息等。
-
-
Kafka
-
优点:极致性能,具备百万级TPS的吞吐能力,基于磁盘顺序读写和零拷贝技术。高可靠,通过多副本机制和ISR保证数据不丢。
-
缺点:功能相对单一,不支持延迟队列、死信队列等高级特性。消息模型主要是拉取模式,实时性略逊于推送模式。
-
适用场景:日志收集、大数据分析、流式数据处理、用户行为轨迹跟踪。
-
-
RabbitMQ
-
优点:轻量易用,基于Erlang编写,管理界面友好,路由功能灵活。社区活跃,文档齐全。
-
缺点:吞吐能力有限,相比Kafka和RocketMQ有数量级差距,消息堆积能力较差。Java开发人员排查底层问题可能有一定难度。
-
适用场景:企业内部系统集成,对吞吐要求不高但需要灵活路由的中小型项目。
-
-
RabbitMQ:通过镜像队列实现。它将队列内容在集群多个节点间同步。当主节点宕机后,从镜像节点中可以选举出一个新的主节点继续提供服务,对客户端无感知。
-
Kafka:通过多副本机制实现。每个主题的分区数据都会复制到多个Broker节点上,这些副本分为Leader和Follower。生产者和消费者只与Leader副本交互,Follower副本实时同步数据。一旦Leader宕机,控制器会从ISR(同步副本集)中选举一个新的Leader继续服务。
-
RocketMQ:通过主从复制和分布式日志实现。DLedger模式下,RocketMQ支持Raft协议,可以在多副本中自动选举Leader,保证即使某组Broker的主节点宕机,只要同组还有存活节点,Topic的读写可用性就不受影响。
-
生产者端:使用确认机制。生产者发送消息后,需等待Broker的确认应答(ACK)。如果未收到ACK,则进行重试。
-
Broker端:持久化存储 + 多副本。消息成功写入磁盘后才向生产者返回ACK。同时利用副本机制将数据同步到其他节点。
-
消费者端:关闭自动确认,改为手动确认。消费者在处理完业务逻辑后,再手动向Broker发送确认信号。这样即使消费过程中宕机,消息也不会被删除,而是重新投递给其他消费者。
-
磁盘顺序读写:Kafka利用磁盘的顺序访问特性,消息追加写入文件末尾,避免了磁盘随机寻址的开销,极大地提升了写入速度。
-
零拷贝技术:在消息发送给消费者时,Kafka使用
sendfile系统调用,数据直接从文件系统缓存传输到网络socket,无需经过应用程序内存,减少了数据拷贝次数和上下文切换。 -
批量处理与压缩:生产者将多条消息打包成一个批次(Batch)发送,Broker和消费者也以批次为单位存储和拉取。同时支持端到端的压缩,减少网络I/O和磁盘占用量。
-
分区的并行能力:一个Topic被划分为多个分区(Partition),每个分区对应一个物理文件。不同的分区可以分布在不同的Broker上,写入和消费都可以在不同分区上并行进行。
由于消息队列的“至少一次”投递语义,在网络抖动、客户端超时或Broker故障等情况下,生产者重试可能导致同一条消息被发送多次,或者消费者处理成功后ACK丢失导致消息被重新投递,最终导致重复消费。
解决方案:核心是业务层实现幂等性。即无论同一条消息来多少次,处理结果都与第一次相同。
-
唯一键约束:利用数据库的唯一索引防止重复插入。例如,将订单号作为唯一键,重复的订单记录插入会失败。
-
去重表:维护一张消息去重表,在处理前先根据消息的唯一ID查询是否已处理过。
-
状态机:利用业务逻辑本身的幂等性。例如,将订单状态从“待支付”变为“已支付”的操作,重复执行也不会产生副作用。
-
借助Redis:将处理过的消息ID存入Redis Set中,设置过期时间,消费前检查是否已存在。
打破并行,将需要顺序处理的消息路由到同一个队列(分区)中:
-
队列模型:选择将有序消息发送到同一个队列(分区)。
-
消费模型:一个队列(分区)只对应一个消费者线程进行消费。因为如果多个线程并行消费同一个队列,无法保证顺序。
-
常见限制:顺序消费会牺牲部分吞吐量和可用性。当某个队列的消费者出现故障时,会导致后续消息阻塞,直到故障恢复。
死信队列Dead-Letter Queue用于存储无法被正常消费的消息。当一条消息满足以下条件之一时,会被扔进死信队列:
-
消费者消费失败,且重试次数达到上限。
-
消息在队列中存留时间超过过期时间(TTL)。
-
队列长度达到上限,新消息被拒绝。
有啥作用:
-
问题定位与排查:将消费失败的消息隔离保存,方便开发人员后续分析失败原因,而不会干扰正常消息的处理。
-
异常处理与补偿:可以单独创建一个消费者来处理死信队列中的消息,尝试进行人工干预或自动补偿
-
实现优先级队列:在特定场景下,可以配合TTL将暂时无法处理的低优先级消息转入死信队列,腾出空间给高优先级消息。
Kafka保证幂等性主要是为了防止生产者在重试时向Broker发送重复的消息。它通过引入Producer ID(PID)和序列号(Sequence Number)来实现:
-
开启幂等性后,每个生产者实例都会被分配一个唯一的PID。
-
生产者发送的每条消息都会携带一个单调递增的序列号。
-
Broker端会为每个PID维护一个内存,记录每个分区上最后提交的序列号。如果Broker接收到一条消息的序列号恰好比当前记录的大1,则接受;如果小于等于当前记录,说明是重复消息,直接丢弃。
零拷贝技术指在数据传输过程中减少或避免CPU拷贝次数,提升性能。在消息队列中,通过操作系统的 sendfile 或 mmap 实现:
-
传统文件传输:磁盘文件 → 内核缓冲区 → 用户缓冲区 → Socket缓冲区 → 网络,多次拷贝。
-
零拷贝:使用
sendfile,数据从内核缓冲区直接到Socket缓冲区,减少用户态和内核态切换及拷贝。Kafka利用sendfile将日志文件直接发送给消费者。 -
mmap:将文件映射到内存,用户态可直接读写,减少一次拷贝,适用于小块数据。
-
RocketMQ:原生支持。支持18个预设级别的延迟,也可以自定义。实现原理是消息发送时指定延迟级别,Broker不会直接将消息放入目标队列,而是放入专门的延迟队列。有一个定时任务会在延迟时间到达后将消息转发到真正的Topic中。
-
RabbitMQ:通过死信队列 + 消息TTL 间接实现。实现步骤如下:
-
创建一个普通队列,不设置消费者,并为队列中的消息设置TTL(存活时间)。
-
当消息在队列中存留超过TTL后,会变成死信。
-
为队列设置死信交换机,死信消息会被自动路由到绑定的死信队列中。
-
真正的消费者从死信队列中消费消息,从而实现延迟效果。
-