大促的流量是平时的数倍,故障窗口以分钟计。本文给出一套可观测备战清单:容量评估、链路压测、采样与告警策略、大促当天的应急响应,覆盖电商大促全流程。
大促当天,流量是平日的三到十倍,任何一个环节扛不住,损失都以分钟计。可观测系统的价值不在平时,而在流量洪峰来临时还能告诉你"卡在哪"。这套备战清单覆盖容量评估、链路压测、告警策略和应急响应四个阶段。
备战从算容量开始。估算峰值 QPS 和日志/指标/链路的数据量,反推可观测系统自身的承受能力:
可观测平台往往是被忽略的那个"瓶颈"——业务系统扩容了,监控自己先被打爆。容量评估一定要把可观测系统本身纳入。
压测不只是跑通业务,要带着链路一起压。全链路压测时把 trace 全量采集,观察两个东西:一是每条链路的耗时分布,定位真正的瓶颈在哪个服务;二是可观测系统自己的写入延迟和丢 span 情况。
压测结束后用 trace 数据做对比:平时和压测时同一条链路的耗时差异,能直观看出哪些服务在高压下劣化最快,优先优化。
大促期间数据量暴涨,采样策略要提前定好:
告警方面,提前做一次告警演练:人为注入故障,确认告警能触发、能通知到人、处理人能快速定位。大促前把静默窗口清理一遍,避免误把真实告警静默掉。
大促当天,可观测平台就是作战指挥室。建议:
复盘同样重要:大促结束后用链路数据做一次完整复盘,找出最慢的十个服务调用、错误率最高的接口,作为下一轮优化的清单。