DTM 二阶段消息停在 prepared:回查要等 35 秒,而请求超时只有 3 秒
项目地址:
文档:
现象
二阶段消息(msg)走 DoAndSubmitDB 时,本地事务提交和全局事务 Submit 之间有一个窗口。本地事务已提交、Submit 还没到,进程挂了,dtm.trans_global 里的事务就停在 prepared。此时 DTM 只能靠回查(query_prepared)把状态推下去。文档里写的是「一定超时时间后」取出这些事务调用回查服务,但这个「一定超时时间」具体是多少、回查请求有多长超时,是两个独立的数。
DoAndSubmit 的流程是:先 Prepare,再 busiCall(bb);如果 busiCall 返回非 ErrFailure 的错误,就用 branch_id="00"、op="msg" 请求 QueryPrepared;busiCall 或回查返回 ErrFailure 则 abort,否则 Submit。回查的语义按文档:已提交→成功继续子事务;已回滚→失败终止全局事务;进行中→等待最终结果;未开始→插入数据保证本地事务最终失败。
回查什么时候才发生
dtmsvr/trans_status.go 的 needProcess():
status == submitted || status == aborting || (status == prepared && isTimeout())
isTimeout() 取 TransOptions.TimeoutToFail;为 0 且 trans_type != "saga" 时回落到全局 conf.TimeoutToFail。dtmsvr/config/config.go 里默认值 35 秒。conf.sample.yml 的注释写的是 “timeout for XA, TCC to fail. saga's timeout default to infinite”,没提 msg,但代码判断的条件是 trans_type != "saga",所以 msg 也吃这个默认值。
timeout == 0 时 isTimeout() 返回 false——把 TimeoutToFail 显式设成 0 的 msg 事务会一直停在 prepared,不会回查。
首次间隔与退避
prepared 事务被取出的间隔由 getNextCronInterval(cronReset) 决定:事务级 RetryInterval 优先;否则若 TimeoutToFail > 0 且小于 conf.RetryInterval 取 TimeoutToFail,否则取 conf.RetryInterval(默认 10 秒)。三种模式:
cronReset:重新计算,RetryInterval默认 10 秒cronBackoff:NextCronInterval * 2cronKeep:保持原值
mayQueryPrepared 在 ProcessOnce 每次处理时调用,条件是 needProcess() 且 status != submitted,结果映射在 dtmsvr/trans_type_msg.go:
err == nil→changeStatus(submitted)ErrFailure→changeStatus(failed)ErrOngoing→touchCronTime(cronKeep, 0),间隔不变- 其它错误 →
touchCronTime(cronBackoff, 0),间隔翻倍
execBranch 失败时也走 cronBackoff,并计算 retryCount = int64(log2(NextCronInterval / getNextCronInterval(cronReset)));retryCount >= conf.AlertRetryLimit(默认 3)且配置了 AlertWebHook 时,POST {"gid","status","branch","error","retry_count"}。
回查请求长什么样
getURLResult(ctx, t.QueryPrepared, "00", "msg", nil):HTTP GET,query 带 gid、trans_type、branch_id=00、op=msg,body 为空(determineHTTPRequestMethod 在 payload 为空且非 xa 时选 GET)。
超时用的是 resty 客户端,t.RequestTimeout 秒,默认 3 秒。DTM 侧没有针对回查的其它等待。
判定逻辑
BranchBarrier.QueryPrepared(db) 两步:
// 1. InsertBarrier(transType, gid, "00", "msg", "01", reason="rollback")
// 2. select reason from barrier where gid=? and branch_id=? and op=? and barrier_id=?
// 参数: gid, "00", "msg", "01"
reason == "rollback" → ErrFailure;否则返回 err(插入或查询的错误)。
插入语句按库不同(dtmimp/db_special.go):
-- MySQL: insert ignore into %s
-- Postgres: insert into %s on conflict ON CONSTRAINT uniq_barrier do nothing
barrier 表结构(sqls/dtmcli.barrier.mysql.sql):dtm_barrier.barrier(id, trans_type, gid, branch_id, op, barrier_id, reason, create_time, update_time, UNIQUE key(gid, branch_id, op, barrier_id));PG 版是 CONSTRAINT uniq_barrier unique(gid, branch_id, op, barrier_id)。
关键点:业务事务提交时 BranchBarrier.Call 已经写过 (gid,"00","msg","01") 这一行,reason 的值是 bb.Op,即 "msg"。回查的 insert ignore 会被唯一键挡掉,不会覆盖。如果业务事务还没结束,这一行还没落库,但业务事务持有相应的锁,insert ignore 会等锁。所以「插入正常返回」就意味着业务事务已经结束——不会误判,只会因为等锁把 3 秒的请求超时耗光,然后走 cronBackoff。
三个时钟叠加后的真实收敛时间
TimeoutToFail35 秒:决定 prepared 什么时候第一次被取出回查;RetryInterval10 秒起、失败翻倍:决定回查节奏;innodb_lock_wait_timeout默认 50 秒(MySQL 文档值,本次未实测):业务事务还开着时 insert ignore 最多等这么久。
RequestTimeout 3 秒小于锁等待,所以回查请求会先超时返回,DTM 记成「其它错误」→ cronBackoff。真实收敛时间取决于业务事务什么时候结束:业务事务一结束,下一次回查就能读到已提交的 barrier 行,QueryPrepared 返回 nil,状态推进到 submitted。业务事务一直不结束,就一路退避重试。
三处容易踩的边界
- 文档写 barrier 的 reason 是
committed/rollbacked,代码里存的是 op 的值(msg/rollback)。判据只看reason == "rollback",其它值一律当作「未回滚」。以 main 分支源码为准。 - PG 依赖 constraint 名
uniq_barrier做on conflict,MySQL 是insert ignore;自建表改了约束名,PG 侧的 on conflict 会直接报错。 - 回查先写入了
(gid,"00","msg","01")的 rollback 行之后,同一个 gid 再执行Call,因为op == MsgDoOp且currentAffected == 0,会拿到ErrDuplicated。这个 gid 的本地事务从此不能再执行。
排障 SQL
-- 回查写入 / 业务写入的 barrier 行
select gid, branch_id, op, barrier_id, reason, create_time, update_time
from dtm_barrier.barrier
where gid = 'your-gid';
-- 全局事务的推进状态
select gid, trans_type, status, next_cron_interval, next_cron_time, options
from dtm.trans_global
where gid = 'your-gid';
dtm.trans_global 的字段包括 gid、trans_type、status、query_prepared、protocol、options、next_cron_interval、next_cron_time、owner、result、rollback_reason,索引是 status_next_cron_time(status, next_cron_time)。next_cron_time 是下一次被取出的时间点,next_cron_interval 是当前间隔,回查反复失败时它会一路翻倍,直到 retryCount 触到 AlertRetryLimit。