99.9% 到底允许停多久
99.9% 对应的时间额度很小,但同一个 SLO 用时间口径和请求口径去算,一次事故的代价能差一个数量级以上。下面把换算、口径、窗口和 burn rate 依次写清楚。
几个 9 的停机对照
按 365.24 天/年、平均月 30.44 天换算:
| SLO | 年允许停机 | 月允许停机 |
|---|---|---|
| 99.99% | 52 分 35 秒 | 4 分 23 秒 |
| 99.95% | 4 小时 22 分 48 秒 | 21 分 54 秒 |
| 99.9% | 8 小时 45 分 57 秒 | 43 分 50 秒 |
| 99.5% | 43 小时 49 分 45 秒 | 3 小时 39 分 |
| 99% | 87 小时 39 分 | 7 小时 18 分 |
这张表只在服务非可用即可用的时间口径下成立。换成请求口径,分母就不是秒了。
时间口径和请求口径
Google SRE 书建议把 SLI 写成两个数之比:好事件数 / 总事件数,例如成功 HTTP 请求 / 总 HTTP 请求。错误预算就是 (1 - SLO) × 期内总事件数。100% 可靠性不是目标:每多一个 9,成本递增而用户边际收益趋近于零,且变更是宕机来源第一位。
两种口径在同一场事故里给出的结论并不一致。
示例假设(数字仅用于推演):某 API 每天 1000 万请求,28 天窗口,SLO 99.9%。错误预算 = 28 × 1000 万 × 0.1% = 28 万个错误请求;折算成时间,28 天允许约 40.3 分钟不可用。
事故 A:某依赖返回错误,全部请求失败,持续 2 分钟,正好落在峰值。时间口径 2 / 40320 ≈ 0.005%,只占 0.1% 预算的 5%,看着像没事。请求口径:这 2 分钟失败 20 万个请求,占 28 万预算的 71%。同一场事故,一个说花了 5%,一个说花了 71%,差 14 倍。
事故 B 是反方向:凌晨网络抖动持续 6 小时,该时段流量只占全天的 0.4%。时间口径 6 / 672 ≈ 0.89%,是允许停机时间(约 40 分钟)的 8 倍多,按 uptime 早就违约。请求口径:失败约 1.1 万个请求,占预算的 4%,还在预算内。
结论是口径决定答案:uptime 回答“服务在不在”,请求成功率回答“用户有没有被服务到”。进程活着、健康检查通过、但所有请求返回 500 的服务,uptime 是 100%,成功率是 0;只影响 0.4% 流量的长尾故障在 uptime 上很难看,在请求口径上几乎无感。多数对外服务用请求口径更接近用户体验,但如果 SLO 承诺的是“可用性”,却拿进程存活做度量,数字会系统性偏乐观。
SLO 必须写清测量方式和适用条件,例如“99%(1 分钟平均)的 Get RPC 在 100ms 内完成(跨所有后端测量)”。同一个 specification 可以有多种 implementation:服务端日志、黑盒探针、前端埋点,各自在质量、覆盖、成本上取舍不同,服务端日志会漏掉没到达后端的请求。换了实现,SLO 就不是同一个了。
滚动窗口与日历窗口
Workbook的建议是滚动窗口更贴近用户体验,月末最后一天的大事故不会在 1 号被用户忘掉;窗口取整数周(如 28 天),避免一个窗口含 4 个还是 5 个周末带来 SLI 自然波动。日历窗口贴近业务规划,按季度评估人力方便,但季中无法预知剩余请求量,只能外推。
Google Cloud 的 SLO 文档把两类合规期讲得更直白:日历期不重叠、固定在日历起止,只在期结束时评估;滚动期没有固定起止、持续评估,旧数据被新数据替换,所以状态可能每天在合规与不合规之间摆动。滚动期内 error budget >= 0 即合规。
有一个容易踩的坑:日历合规期 + 基于请求的 SLO。系统无法预知全期总量,只能按已观测调用速率外推本周期总量。活动量上升,预期流量上升,允许的错误数也随之上升,剩余预算看起来“变多”了。示例假设:季度过半已观测 5 亿请求,初期预估全季 10 亿,99.9% 对应 100 万错误预算;按当前速率外推全季 15 亿,预算变成 150 万,已烧掉的 60 万从“用掉 60%”瞬间变成“用掉 40%”。服务并没有变好,是分母被外推拉大了。纯 uptime 目标和滚动窗口没有这个问题。
burn rate
burn_rate = 当前错误率 / (1 - SLO),即预算消耗速率。Workbook 的 multi-window multi-burn-rate 常用三档(以 30 天窗口为基准):
| burn rate | 长窗口 | 消耗预算 | 烧完 30 天预算 | 动作 |
|---|---|---|---|---|
| 14.4x | 1 小时 | 2% | 约 2 天 | page |
| 6x | 6 小时 | 5% | 约 5 天 | page |
| 1x | 3 天 | 10% | 30 天 | ticket |
短窗口保证及时性,长窗口抑制瞬时抖动误报,两侧同时越阈值才触发。PromQL 里长窗口和短窗口各算一次:
(
sum(rate(http_requests_total{job="api",code=~"5.."}[1h]))
/
sum(rate(http_requests_total{job="api"}[1h]))
) / (1 - 0.999) > 14.4
and
(
sum(rate(http_requests_total{job="api",code=~"5.."}[5m]))
/
sum(rate(http_requests_total{job="api"}[5m]))
) / (1 - 0.999) > 14.4
6x/6h 和 1x/3d 两档把上面区间和阈值换掉即可。规则生成和面板可以交给 Pyrra(Kubernetes 上声明式管理 SLO,自动生成 PrometheusRule 与 Grafana 面板)或 Sloth(从 SLO 声明生成 Prometheus 告警规则与 Grafana 面板)。
SLA 和内部 SLO 不是同一个数
SLA 是提供方与客户之间的协议,含可量化指标和未达标的后果:服务抵扣、赔偿、许可延期,通常由法务和商务制定,适用于付费服务。判断一个指标是 SLO 还是 SLA,问一句“没达成会怎样”,没有明确后果的就是 SLO。
SLA 合同里通常带排除条款:计划内维护窗口、不可抗力、客户自身原因、SLA 覆盖范围之外的第三方依赖。所以合同上的 99.9% 和内部 SLO 的 99.9% 往往不是同一个分母——对外承诺剔除的时段和请求,在内部分母里一个不少。两个数不能直接比较:对客户赔付看 SLA,对内考核和发布门禁看 SLO。把 SLA 数字直接当 SLO 用,内部会长期偏松。
串联依赖相乘
前端 SLO 不能只按自己的代码算。假设请求串过 3 个各自 99.9% 的后端,整体可用性是 0.999³ ≈ 99.70%,允许停机从 43 分钟缩到约 13 分钟;串 5 个是 99.50%,串 10 个只剩 99.00%。反过来,要守住整体 99.9%,3 个串联依赖每个需要 0.999^(1/3) ≈ 99.967%。串联链路上的错误预算近似相加,各段不能都按 100% 花,得先分账再定各段 SLO。