Skip to content
35 篇文章 / 8 个序列 / 2 个入口

生产问题

这里优先按“故障现象 -> 止血动作 -> 根因收敛 -> 长期治理”来组织,而不是先背一堆命令。

如果线上真的出问题,建议先按症状落点:

应用运行时异常适合先处理 CPU 飙升、Full GC、线程池打满、接口 RT 抖动这类应用层问题。数据与基础设施故障适合先处理数据库连接、网关 502、磁盘打满、缓存热点、消息积压和检索变慢。事故复盘模板适合后续把每一次止血、定位、回滚和治理动作沉淀成统一格式,长期积累会更整齐。

更稳的排障顺序通常是:

  1. 先判断影响范围,分清是不是全站故障、单链路故障还是单机异常。
  2. 先止血,优先保住核心交易和核心接口。
  3. 再区分问题是在应用层、数据层、网关层还是基础设施层。
  4. 最后把根因和治理动作沉淀下来,避免只解决这一次。

如果你把这里当成长期事故库来用,更推荐按下面这三组方式积累:

先看止血类案例适合先收录 CPU 飙升、线程池打满、接口 RT 抖动、数据库连接打满这类需要快速止血的问题。再补根因类案例适合沉淀死锁、热点、消息积压、查询变慢这类需要复盘链路和结构性原因的问题。统一复盘格式每篇尽量固定为现象、影响范围、止血动作、根因、修复、长期治理,后面会越来越清楚。

现在这套事故库更适合优先沉淀 4 类内容:

  1. 应用运行时异常:CPU、GC、线程池、接口超时。
  2. 数据链路故障:MySQL 连接、死锁、Redis 热 Key、MQ 积压。
  3. 网关与基础设施问题:Nginx 502、磁盘打满、Kubernetes 运行异常。
  4. 复盘型文章:一次事故里真实的发现顺序、误判点和长期治理动作。

把零散经验整理成可查、可复用、可持续更新的企业级知识门户