工作总结
2026年实行期工作总结。
干了六个月,该交卷了。
先说几个硬数字:我负责的那七个业务系统,这半年可用性从99.2%拉到99.87%。别急着鼓掌——99.2%意味着一年要宕70个小时,平均每月差不多6小时,客户不骂才怪。99.87%呢?年宕机大概11小时,勉强摸到及格线。真正的目标是99.95%,还差一截。客户满意度92.6分,比上期涨了11.3分,但我心里清楚,这主要归功于前三个月把几个长期堵心的故障给摁死了。投诉工单从每月11件降到2件,那2件都是因为文档没写清楚导致的配置错误,活该被骂。
说一件让我现在想起来还牙痒痒的事。
实行期第二个月,凌晨2点17分,计费数据库连接池炸了。当时我正做梦修空调,电话一响整个人弹起来。冲到机房,湿度正常,温度正常,所有监控都是绿的——这他妈的才是最吓人的地方。第一反应查慢查询。打开slow log,一条新上线的对账SQL跑了快300秒,扫描行数830万。开发环境数据量才两万行,谁也没想到生产环境会是这个量级。
我不敢直接kill -9,那会丢连接状态。当时做了三件事:第一,临时改数据库连接池参数,把maxWait从30秒压到3秒,让超时的请求快速失败而不是排队等死;第二,用pt-kill工具筛选出执行超过60秒的查询,分批杀掉;第三,通知开发那边准备回滚版本。三分钟后,连接池水位从100%降到34%,支付接口恢复。全程六分钟,影响交易大概400多笔,后来人工补单补到天亮。
事后复盘,我坚持加了一条规矩:所有涉及大表查询的SQL,必须在预发布环境用生产数据量的抽样跑一遍压测。有人嫌麻烦,说“又不是每次都有大表”。我说你再说一遍?上个月是谁把全表扫描搞出来的?现在这条规矩成了代码合并的前置检查,谁绕过谁请宵夜。
再说一件让我觉得自己像个傻逼的事。
上个月一次例行重启,我忘了检查某个微服务的优雅停机配置。那玩意默认是粗暴的SIGKILL,正在处理的请求直接断掉。结果三百多笔订单状态丢失,状态机卡在半路。我手工补了四个小时,眼睛都快瞎了。后来查代码才发现,那个服务的优雅停机开关跟配置文件里的一个参数名差了最后一个字母——YAML解析不报错,但压根没生效。
这让我学到一个教训:别相信默认值,别相信文档,只相信你亲手跑过的测试。现在我每次操作前必须列checklist,每项后面标注“已验证”,再找同事双人复核。操作过程用asciinema录屏,存到内部Wiki。丢人的事,一次就够了。
另一个让我抓狂的故障,跟设备维护有关。
去年就因为一个电源模块的固定螺丝没打扭矩,接触电阻变大,半夜闪断三次。客户凌晨四点打电话来,语气从“麻烦看一下”变成“你们到底行不行”,让人深感无奈。实行期我花了两个周末,把所有机柜的设备间距、线缆标签、接地电阻值全部过了一遍。标准定得很死:网线两端必须标注端口号和所属业务,扎带间距不超过15厘米,PDU负载不能超过额定值的75%。改完之后,运维同事抱怨“至于吗”。我说你上次找线找了十分钟,至于吗?最近三个月,物理连接导致的故障数为零。设备平均无故障时间从2200小时涨到3100小时,这个数据不会骗人。
还有一个突发故障,让我意识到外部依赖就是定时炸弹。
周一早高峰,系统响应变慢,但所有监控指标都正常。CPU 30%,内存有余量,磁盘IO也低。这种时候直觉告诉我:问题在外面。用tcpdump抓包,再看调用链日志,发现调用某个第三方认证接口的耗时从平常80毫秒飙到2.7秒。代码里没有配置超时,也没有熔断,就这么傻等。对方那天做了网络策略变更,我们被堵了整整四十分钟。
这简直令人难以置信——一个上线两年的系统,居然连最基本的超时都没设。我当天就拉着开发改代码:所有外部HTTP调用统一超时1.2秒,重试最多两次,指数退避,熔断器阈值设为10秒内失败5次就开路。改完之后,后续一个月因外部依赖导致的故障次数直接归零。
当然,实行期也不是光救火。我把这半年遇到的每一个故障都写成了处理手册,一共17篇,涵盖了数据库连接池、优雅停机、熔断配置、网线标签规范等场景。新人来了照着做,至少不会犯我犯过的低级错误。
下一步我打算在预发布环境搞混沌工程。每周随机杀一个容器、模拟网络延迟或者DNS故障,看系统能不能扛住。这个想法提出来的时候,开发说“你是不是有病”。我说对,我有病,但我不想半夜再爬起来。
- 为了您方便浏览更多的工作总结网内容,请访问工作总结