编程 MTS 从库的 Exec_master_log_pos 只是低水位:有 gap 时 RESET REPLICA 会抹掉记录,位置复制恢复直接失败

2026-11-18 00:04:56

MySQL 8.4 多线程复制的 gap:Exec_master_log_pos 只是低水位

先说结论:MySQL 8.4 的多线程副本(MTS)默认 replica_preserve_commit_order=ON,它能挡住大部分提交乱序,但挡不住所有 gap,也完全挡不住 source binary log position lag。一旦通道里留下 gap,Exec_master_log_pos 就不再是“已应用到哪”的准确进度,只是低水位;用位置复制去恢复会失败,mysqldump --dump-replica 会把空洞一起复制出去,RESET REPLICA 则会直接抹掉 gap 的全部信息。GTID + SOURCE_AUTO_POSITION 是另一条路径,那套填 gap 的流程会被整体跳过。

现象

副本上的数据处于一种源上可能从未存在过的状态。查看 SHOW REPLICA STATUS,Exec_master_log_pos 看起来落后很多,但它后面的事务其实已经提交了。

手册把复制不一致分成两类:

  • Half-applied transaction:更新非事务表的 mixed 事务只应用了一部分。
  • Gap:在有序事务序列中,靠后的事务比靠前的先被应用,外化事务集合里留下空洞。gap 只会在多线程副本上出现。

什么是 gap 与低水位

gap 是“空洞”,低水位是“进度显示”。两者相关但不等价。

即使没有 gap,也可能出现 position lag:位置 N 之前的事务全部应用、N 之后一个没应用,但 Exec_master_log_pos 的值小于 N。此时它只保证“该位置之前的事务已提交”,位置之后的事务可能已提交也可能没有。position lag 同样只在 MTS 上发生,开启 replica_preserve_commit_order 也防不住。

要压制 gap,设 replica_preserve_commit_order=ON。这是默认值,因为所有副本默认都是多线程的。开 ON 不要求副本开启 binlog 或 replica update logging,那两项可以关掉。ON 要求 replica_parallel_type=LOGICAL_CLOCK(MySQL 8.4 默认)。某些情况下 ON 也无法保持提交顺序,仍可能出现 gap。

如何确认

  • SHOW REPLICA STATUS 的 Exec_master_log_pos 只是低水位:之前保证已提交,之后不确定。单看这个值判断“落后多少”会误判。
  • 非 GTID 通道上执行 CHANGE REPLICATION SOURCE TO 会报错,除非 applier 线程正在运行且语句只设置 receiver 相关选项。
  • 以 --relay-log-recovery 启动时,该通道不做恢复,并打印 warning。
  • 源 binlog 位置信息以二进制形式持久化在内部表 mysql.slave_worker_info。START REPLICA [SQL_THREAD] 总会读取这些信息,保证只应用正确的事务;即使此前把 replica_parallel_workers 改成 0,或用带 UNTIL 的 START REPLICA 也是如此。

五种产生 gap 的场景

  1. 复制线程运行期间:可能存在 gap 与半应用事务。
  2. mysqld 关闭:干净或非干净关闭都会中止进行中的事务,可能留下 gap 与半应用事务。
  3. KILL 复制线程:单线程副本是 SQL 线程,MTS 是 coordinator 线程。会中止进行中的事务,同样可能留下 gap 与半应用事务。
  4. applier 线程报错:可能留下 gap;如果出错的是 mixed 事务,该事务处于半应用状态。MTS 下未出错的 worker 会先跑完自己的队列,因此所有线程真正停下来需要时间。
  5. MTS 上执行 STOP REPLICA:发出后会等待 gap 被填平,再更新 Exec_master_log_pos,正常情况下不留 gap 或 position lag。例外是在 STOP REPLICA 完成前出错、别的线程 KILL、服务器重启——这些情况下 STOP REPLICA 仍返回成功。
    • relay log 里最后一个事务只收到一半、而 coordinator 已经开始把它分派给 worker 时,STOP REPLICA 最多等 60 秒等接收完。超时后 coordinator 放弃并中止该事务;如果是 mixed 事务,可能留下半完成状态。
    • 进行中的事务只更新事务表时,回滚并立即停止;如果是 mixed 事务,STOP REPLICA 最多等 60 秒等它完成,超时则中止,同样可能半完成。

rpl_stop_replica_timeout 与停止复制线程的过程无关,它只决定发出 STOP REPLICA 的客户端何时返回,复制线程仍在尝试停止。

五条后果

  1. 副本数据库处于源上可能从未存在过的状态。
  2. SHOW REPLICA STATUS 的 Exec_master_log_pos 只是低水位。
  3. 该通道的 CHANGE REPLICATION SOURCE TO 报错(除非 applier 在运行且只设 receiver 选项)。
  4. 以 --relay-log-recovery 启动时不做恢复,打印 warning。
  5. mysqldump 用 --dump-replica 时不记录 gap 的存在,输出的 CHANGE REPLICATION SOURCE TO 里 RELAY_LOG_POS 被设为 Exec_master_log_pos 那个低水位位置。在另一台服务器导入该 dump 并启动复制后,位置之后的事务会被重复复制。开了 GTID 时无害,但那时不建议用 --dump-replica。

如果通道只有 position lag、没有 gap,第 2 到第 5 条适用,第 1 条不适用。

实操建议

非 GTID 下先填 gap。 START REPLICA UNTIL SQL_AFTER_MTS_GAPS 只应用到刚好填平 gap 所需的事务数。如果 UNTIL 让它在消耗完所有 gap 之前就停下,就会留下剩余 gap。

不要对有 gap 的 MTS 执行 RESET REPLICA。 它会删除 relay log 并重置复制位点,副本因此丢失所有关于 gap 的信息,而 gap 并没有被修正。此时若继续用基于 binlog 位置(非 GTID)的复制,恢复过程会失败。

有 gap 时直接切 GTID。 GTID_MODE=ON 且在 CHANGE REPLICATION SOURCE TO 里设了 SOURCE_AUTO_POSITION,恢复不需要旧 relay log,副本用 GTID 自动定位算出相比源缺哪些事务。基于位置复制用来解决 MTS gap 的那套流程在 GTID 下被完全跳过;跳过时 START REPLICA UNTIL SQL_AFTER_MTS_GAPS 行为不同,不再尝试检查事务序列中的 gap。反过来,在有 gap 的非 GTID 副本上也不允许执行 CHANGE REPLICATION SOURCE TO。

备份用 GTID。 用 --dump-replica 输出的低水位位点会把重复事务带到下游,GTID 下无害,但既然开了 GTID 就不必用这个选项。

默认值速查。 8.0.27 起 replica_parallel_workers 默认 4、replica_parallel_type=LOGICAL_CLOCK、replica_preserve_commit_order=ON。8.0.26 之前变量名是 slave_*。binlog_transaction_dependency_tracking 在 8.0.35 弃用、8.4 移除。

推荐文章

程序员茄子在线接单