“系统变慢了”是最难排查的故障描述。没有监控的团队只能靠用户投诉发现问题,然后在一堆日志里猜原因。可观测性建设的价值,是把被动救火变成可定位、可复盘的日常。本篇给出一套适合中小团队的最小落地方案。
一、可观测性的三层数据
- 指标(Metrics):CPU、内存、磁盘、连接数、请求量与延迟。适合看趋势与设告警。
- 日志(Logs):请求明细、错误堆栈、业务事件。适合定位具体问题。
- 链路(Traces):一次请求在多个服务间的调用路径与耗时。适合排查跨服务性能问题。
三层不是必须同时上齐。多数团队先把指标与日志做扎实,再在微服务架构下引入链路追踪。
二、告警怎么设才有用
告警过多比没有告警更糟。常见问题是阈值太低、同一问题重复告警、以及告警发到没人看的群。建议遵循几条原则:
- 只对“需要人处理”的情况告警:磁盘使用率 60% 不需要报警,85% 才需要。
- 按影响分级:核心业务不可用为最高级,立即电话通知;性能下降为次级,工作时间处理。
- 设置抑制与聚合:同一根因引发的多条告警合并,避免刷屏。
- 每条告警附带处置建议:写清先看哪个面板、常见原因是什么。
- 定期复盘:每月统计误报率,及时调整阈值。
三、四个最值得先加的监控
- 可用性探测:从外部定时访问核心页面与接口,确认业务真的可用,而不只是服务器在线。
- 接口成功率与延迟:按接口统计,关注 P95、P99 而非平均值。
- 数据库连接与慢查询:连接池打满与慢查询是常见的性能瓶颈来源。
- 磁盘与备份:磁盘写满会导致服务直接异常;备份失败往往直到需要恢复时才发现。
四、日志怎么管
- 统一格式,至少包含时间、级别、服务名、请求 ID、错误信息。
- 结构化输出(JSON),便于检索与统计。
- 敏感字段(手机号、身份证、密码)写入前脱敏。
- 设置保留期,长期日志转存到 OBS 降低存储成本。
- 日志量异常增长本身也是一个告警项。
五、从故障中学习
每次故障后应产出一份简短复盘:现象、影响范围、时间线、根因、临时处置、长期改进。重点不是追责,而是确认“监控是否提前发现了”“告警是否送达了”“定位花了多久”。连续几次复盘后,监控盲区会明显减少。
六、常见误区
只监控服务器不监控业务;只看平均值不看分位数;告警发给全体成员导致麻木;日志没有请求 ID 无法串联;监控数据只保留七天,问题复现时已经没有数据。逐项排查,大多数“查不到原因”的问题都能改善。
如需搭建云上监控与告警体系,或对现有架构做一次可观测性评估,欢迎联系云起时空顾问,也可以参考华为云高可用架构解决方案。
留言讨论
还没有留言,欢迎留下你想了解的场景。
查看全部留言 ›