编程 Redis 8.4 的 XREADGROUP CLAIM:一条命令回收空闲 pending 并读新消息

2026-11-19 21:03:21

Redis 8.4 的 XREADGROUP CLAIM:一条命令回收空闲 pending 并读新消息

Redis 8.4 给 XREADGROUP 增加了 CLAIM min-idle-time 参数,把“回收空闲 pending 消息”和“读取新消息”合并进一次调用。在此之前,要可靠消费必须手写 XPENDING + XCLAIM(或 XAUTOCLAIM)+ XREADGROUP 的循环,现在这个循环可以去掉。

语法

XREADGROUP GROUP group consumer [COUNT count] [BLOCK milliseconds]
[CLAIM min-idle-time] [NOACK] STREAMS key [key ...] id [id ...]

指定 CLAIM 后,Redis 先在每个 stream 对应的消费者组中尝试认领空闲时间不少于 min-idle-time 毫秒的 pending 消息,idle 最久的优先。如果没有可认领的消息,就照常读取新消息。

两条路径共享同一个 COUNT 预算:先认领,最多用掉 COUNT;剩余额度再用于读新消息。如果认领阶段就把预算用满,命令直接返回,只带回被回收的条目。可回收条目始终优先。

> 与具体 ID 的行为差异

id 为 > 时,不加 CLAIM 只读新消息;加了 CLAIM 则是“新消息 + idle 足够久的 pending”。

id 不是 > 时(例如按 ID 重放自己 pending 历史中的消息),CLAIM 会被忽略。

返回结构多出的两个字段

被认领的条目在回复中额外带两项:idle 时间(毫秒,0 表示刚投递)和 delivery count(新消息为 0,被认领的为 1+)。客户端据此就能实现重试上限、把连续失败的消息转到死信 stream、升级延迟任务、发现卡在某个环节的处理——都不需要再额外调一次 XPENDING。

BLOCK:pending 老化也能唤醒

BLOCK 不只是等待新消息。Redis 按 stream 记录下一条 pending 条目变得可认领的最早时间戳,并在 blockedBeforeSleep 钩子里检查,因此阻塞的客户端会在 pending 跨过 min-idle-time 的那一刻被精确唤醒(多个客户端阻塞时取各自唤醒时间的最小值)。等待是响应式的:来新消息会醒,pending 到龄也会醒。

性能来自时间有序索引

基准条件:20,000 条消息,PEL 全满,其中 1,000 条(5%)idle 1100ms 可认领,其余 idle 50ms,min-idle-time=1000,COUNT=1000,跑 1000 次迭代。XAUTOCLAIM 平均 54.671ms、p99 68.800ms;XREADGROUP CLAIM 平均 2.426ms、p99 4.212ms,约 22.5 倍。

差距是算法性的:XAUTOCLAIM 按 stream-ID 顺序线性扫 PEL,与投递时间无关,PEL 很大而可认领条目很少时,大部分扫描都是白做;CLAIM 走时间有序索引,复杂度 O(log n + k)。加速比随 PEL 规模与可认领条目比例变化——PEL 小、或 PEL 里几乎全是可认领条目时,两者差别不大。

代价在写路径

时间有序索引让每次投递都要往 pel_by_time 插入一个 streamNACK,每次 XACK 删除它,每次 XCLAIM/重投更新它的位置(rax 树操作,O(log n))。内存实测:200,000 条 pending,41.53 MB → 45.07 MB,约 18.6 字节/条,整体约 8.7% 开销,且只落在 pending 条目上。不用 CLAIM 的消费者也要承担其中一部分。

后续优化把索引换成链表,让每次投递的记账变成 O(1),消费者路径吞吐 +28%、平均延迟 -22%、p99 -21%,XADD 不受影响(约 69K ops/sec)。这些都是内部改动,协议、RDB、AOF 均未变化。

兼容性:XACK 仍然必须调用

CLAIM 是可选参数,同一个消费者组内可以混跑用与不用 CLAIM 的消费者。处理成功后仍然必须 XACK——CLAIM 简化的是恢复流程,不替代确认。没人 ACK 的 pending 会永远留在 PEL 里,持续占内存。

命令示例

# 8.4 之前:三条命令,循环逻辑自己写
XPENDING mystream mygroup IDLE 30000 - + 100
XCLAIM mystream mygroup consumer1 30000
XREADGROUP GROUP mygroup consumer1 COUNT 100 BLOCK 5000 STREAMS mystream >

# 8.4:回收空闲 pending 与读新消息合并,共享 COUNT 预算
XREADGROUP GROUP mygroup consumer1 COUNT 100 BLOCK 5000 CLAIM 30000 STREAMS mystream >

链接

  • 命令文档:
  • 设计说明:
  • Redis 8.4.0 发布:
复制全文 生成海报 redis stream 消息队列 存储

推荐文章

程序员茄子在线接单