综合 每小时几次 502、日志全空:OOMPolicy=continue 让 cgroup 的 OOM 一点声音都没有

2026-11-21 21:03:40

API 每小时零星 502,systemctl 显示 active:一次 cgroup v2 静默 OOM 的排查

现场是这样的:api 服务每小时有几个请求返回 502,几分钟后自己恢复;按端点、客户端、请求体大小都切不出规律。systemctl status api 是 active (running),没有 failed,没有重启记录;journalctl -u api 在 502 时间点附近没有任何错误、堆栈或关闭消息;宿主机 free -m 显示 31 GB 总内存、12 GB available;负载均衡健康检查全程通过,包括 502 爆发期间。

四个常规观测点——单元状态、应用日志、主机内存、健康检查——全都正常。问题在于观测位置选错了:限制不在主机层,进程也没走到能写日志的那一步。

证据采集

systemctl status api
journalctl -u api --since "-2h"
journalctl -k --since "-2h" | grep -i oom
cat /sys/fs/cgroup/system.slice/api.service/memory.events
cat /sys/fs/cgroup/system.slice/api.service/memory.max
cat /sys/fs/cgroup/system.slice/api.service/memory.peak
cat /sys/fs/cgroup/system.slice/api.service/memory.current
systemctl show api -p ControlGroup -p MemoryHigh -p MemoryMax -p OOMPolicy -p Restart
free -m

读到的东西:

  • systemctl status api → active (running),Main PID 9 天未变,Tasks 在 9 到 13 之间波动。
  • journalctl -u api → 无应用错误,502 时间点附近什么都没有。
  • journalctl -k | grep -i oom → 重复出现 oom-kill 行,constraint=CONSTRAINT_MEMCG。
  • memory.events → low 0 / high 0 / max 4193 / oom 51 / oom_kill 47,其中 oom_kill 在持续增长。
  • memory.max → 2147483648,memory.peak → 2147483648,两个数字完全相等。
  • systemctl show → MemoryMax=2147483648, MemoryHigh=infinity, OOMPolicy=continue。

内核日志里的关键一行:

Aug 11 09:07:44 host kernel: api-worker invoked oom-killer: gfp_mask=0x1100cca, order=0
  memory: usage 2097152kB, limit 2097152kB, failcnt 4193
  oom-kill:constraint=CONSTRAINT_MEMCG,nodemask=(null),cpuset=api.service,mems_allowed=0,
  oom_memcg=/system.slice/api.service,task_memcg=/system.slice/api.service,task=api-worker,pid=20714,uid=997

根因链条

限制是 cgroup 的,不是主机的。 constraint=CONSTRAINT_MEMCG、oom_memcg=/system.slice/api.service 已经写明这不是整机 OOM,而是单元撞上了自己的 MemoryMax=2G。所以 free -m 健康、主机级内存告警不响都是合理的。usage 2097152kB, limit 2097152kB 与 memory.peak == memory.max 是同一个信号:工作集长期顶在内存上限上,因此没有余量,并非“放得下”。

死的是 worker,不是主进程。 内核在 cgroup 里挑中的是 task=api-worker,不是主 PID。主进程活着,单元就不会进入 failed,systemctl status 自然一直是绿的。

OOMPolicy=continue 把最后一道提示也去掉了。 这个选项告诉 systemd:单元内有进程被 OOM 杀死时不要采取动作,既不停止也不重启。默认值是 stop。改成 continue 通常是为了避免服务反复重启——结果是把“周期性抖动”变成了“不可见抖动”:单元保持 active、重启计数保持 0、所有盯着单元状态的看板都是绿的,而服务每二十分钟静默丢掉一个 worker。

SIGKILL 不会留下记录。 OOM kill 发送的是 SIGKILL,进程没有机会刷日志、跑异常处理或排空连接。它手上正在服务的请求直接中断,负载均衡记录成 502。应用日志一片空白,原因在于从来没有一刻能让应用写日志,并非日志没配好。

memory.events 讲的是更长的时间线。 max 4193 是分配触到 memory.max 边界的次数,oom_kill 47 是真正被杀掉的进程数。也就是说,在开始丢 worker 之前,工作集已经几千次顶着内存上限做强制回收了;502 只是最后那段可见的尾巴。

memory.events 各字段在说什么

  • low:触到 memory.low 保护的次数。
  • high:触到 memory.high 被节流的次数。
  • max:分配撞到 memory.max 硬上限、进入强制回收的次数。
  • oom:cgroup 内触发 OOM 的事件数。
  • oom_kill:实际被杀的进程数。

不能从中推出的结论同样重要:

  • 计数器是累计值,读到非零只能说明历史上发生过。要记录读取时间,修复前后各存一份,才能判断本次重启有没有产生新的 oom_kill。
  • high 增长不足以证明被 OOM 杀,只说明经历过高水位回收。
  • oom_kill 没变不能排除内存压力事件:systemd-oomd 可能在内核 OOM 之前就按 memory pressure 杀掉 cgroup 内进程,这种终止不一定增加内核 oom_kill 计数。
  • memory.peak 钉在 memory.max 上,只说明工作集至少想要这么多,不等于真实需求就是这个数字。

修复:两个限制 + 恢复默认 OOM 行为 + 补告警

/etc/systemd/system/api.service.d/10-memory.conf:

[Service]
MemoryAccounting=yes
MemoryHigh=5G
MemoryMax=6G
OOMPolicy=stop
Restart=on-failure
RestartSec=5s

取舍在于:MemoryHigh 是节流线,越过它 cgroup 进入强回收压力并变慢,状态可见、可恢复;MemoryMax 是墙,越过就杀进程。把 MemoryHigh 放在 MemoryMax 下面,等于先得到一个“退化但可观测”的状态,再考虑死进程。只设 MemoryMax 就没有这段缓冲。

数字别猜。memory.peak 在这里被限制值限制住了,只能说明工作集至少想要 2 GiB;真实需求要从峰值流量下的指标历史取,或者临时抬高限制观察一轮。随便填一个数,只会把同一次事故换个数值复现。

sudo systemctl daemon-reload
sudo systemctl restart api

然后把 cgroup 的 oom_kill 计数导出成指标,任何增长都告警。用 OOMPolicy=continue 去压住反复重启,是在处理警报而不是处理火;如果单元重启确实太频繁,应该去查内存为什么会超,或者用 Restart= 配合 StartLimitIntervalSec= 限流,而不是关掉提示。

验证

  • systemctl show api -p MemoryHigh -p MemoryMax -p OOMPolicy 返回新值。
  • 记下当前 oom_kill,跑完一个完整的峰值流量周期后再读,数字必须不变。
  • 同一窗口内边缘 502 率回到 0。如果 cgroup 安静但 502 继续,说明还有第二个故障。
  • memory.events 的 high 应该很低;如果 high 大且持续增长,说明服务现在被永久节流,需要真正扩容,而不是继续抬高上限。
  • 在预发环境故意设一个极小的 MemoryMax 跑一遍:单元必须进入 failed、重启、告警触发。没测过的告警不算控制措施。

几个容易踩的边界

  • 单元 MemoryMax 不等于整机总内存。 它限制的是该单元及其子孙 cgroup 的记账范围。调高之前要确认上层 slice、容器或宿主机还有余量,否则只是把 OOM 往上推一层。
  • 先分清三种来源:单元 cgroup 撞 MemoryMax、整机内存耗尽、systemd-oomd 按 memory pressure 主动挑 cgroup。三者处置顺序完全不同,内核日志里的 constraint= 和 oom_memcg= 是最快的区分依据。
  • MemoryHigh 只给回收压力,本身不触发 OOM killer;MemoryMax 是硬上限,回收降不下来时才会在 cgroup 内触发 OOM。
  • OOMPolicy=stop 只在单元进入 failed 时生效,可以配合 OnFailure=,但它不覆盖单纯的 MemoryHigh 节流——节流期单元仍然是 active,这部分要靠 high 计数和延迟指标来盯。
复制全文 生成海报 运维 Linux systemd 排障

推荐文章

程序员茄子在线接单