架构决策记录
ADR 0043: 服务健康由探测请求判断,监控不再用规则与阈值下结论
本文目录
日期:2026-10-13 · 状态:已接受(取代监控中枢的诊断规则与 monitor.rules 阈值设置)
依据:服务监控页改版计划 D3–D7。
背景
监控中枢曾用 16 条诊断规则(KV 饱和、prefill 主导、高温、空闲……)和一组可配置阈值,从 5 分钟窗口里的指标推断「服务是否健康、为什么慢」,再汇总成首页的一句分诊和信号卡片的严重程度。实际使用中:
- 规则给的是推测,阈值因模型、硬件和负载而异,默认值经常误报或漏报,用户难以判断该不该信;
- 「服务能不能用」这个最基本的问题,规则只能间接推断(错误率、就绪副本),回答不了「现在发一个请求会不会回」;
- 为了喂规则,每个快照多查 GPU 温度、利用率、显存带宽、限频原因和主机 CPU 五组序列,并维护空闲判断与最近请求时间。
决策
- 健康 = 探测:开启健康检查的部署,服务端每分钟经网关发一个最小请求(chat 发 "1"、
max_tokens: 1;只提供 embedding 的输入 "1"),按阈值(默认 60 秒)判正常、超时、失败;没有醒着在运行的副本时不发,记为无可用副本。检查走与客户端相同的路由、重试、PD 与模型名改写,但不进网关的记账、在途表与请求记录(internal/server/healthcheck、proxy.Proxy.Probe)。 - 只报告,不行动:探测结果不重启、不摘除副本,也不参与调度。
- 新部署按模型默认开启,存量默认关闭:chat / embedding 模型的新部署默认开;升级前已有的部署保持关闭,由用户在部署详情里开启。开关与阈值随时可改,不重启实例。
- 监控只报事实:删除诊断规则、阈值设置(
monitor.rules,迁移 139 删除已存的值)、分诊、信号严重程度与请求路径阶段。信号行只给数值、明细与走势;唯一标出的事实是「就绪副本少于期望」。首页按探测状态计数并可筛选,服务表的诊断列换成健康列并按健康状况排序。 - 结果只在内存:每部署保留最近 10 次,不持久化;服务端重启后一分钟内恢复。
取舍
- 探测 vs 规则:探测回答的是「能不能用」,回答不了「为什么慢」;后者交给延迟拆解、请求视图与分布这些事实,由人判断。宁可少给结论,也不给不可靠的结论。
- 探测成本:每个开启的部署每分钟一个 1 token 的请求,并发上限 32;引擎自己导出的指标会计入它,网关的统计不计入。
- 不持久化:历史健康曲线目前没有需求;需要时再按带类型的表或 tsdb 序列加,不提前新增持久化事实。
后果
这篇文档有帮助吗?