跳转到正文

ADR 0060: 卡的健康只由硬件事实判定;事件类错误要有恢复的证据,人工干预优先

本文目录

日期:2026-11-01 · 状态:已接受(补充 0043)

背景

卡的健康原来只来自厂商工具的状态字段(ECC 计数、待替换的显存行、npu-smi 的 Health 等)和平台自己的运行时检查。要补的信号(PCIe 链路与 AER 计数、NVIDIA Xid、NVLink 状态)里有两类东西:一类和原来一样是「现在怎样」的状态,一类是「刚才发生过」的事件,后者没有一个会自己变回正常的读数。

ADR 0043 删掉了从指标推断健康的规则与阈值,因为推测不可靠。新信号要说明它们为什么不是那种推测。

决策

  1. 只认事实:能改变卡健康等级的只有三种东西——硬件错误计数的增长(AER、ECC、RAS)、厂商明确给出的恢复要求(gpu_recovery_action、PPU 的 xid.* 字段、Xid 的官方「立即动作」分类)、以及链路协商结果低于两端都支持的能力。温度、限频原因、利用率仍然只是指标,不判健康。
  2. 去抖只为滤掉采样噪声:链路降级连续 3 次上报才判、连续 3 次正常才恢复;链路速率只在卡被本节点实例使用且不在休眠时判断,因为空闲的卡和交换芯片上行口会主动降速。这不是阈值调参,而是「什么时候读数有意义」。
  3. 状态类信号,下一次读数正常即恢复;事件类信号要有恢复的证据:事件之后这张卡的运行时检查通过了,或主机重启、驱动重载过。时间流逝本身不是证据——驱动只在出事时写一次日志,之后没有新日志不说明卡好了。非致命、已恢复的错误(AER 非致命)只告警一段时间,不要求证据。
  4. 人工干预优先:自动判定只是默认值。管理员可以随时把卡或节点改回可调度;平台自动停止调度的原因还在时,下一次上报会再停,这一次窗口足够人工验证。平台只解除自己设下的停止调度,人工设的永不自动解除。
  5. 故障卡上运行中的实例不动:判定只影响新的分配;运行中实例的处置属于高可用策略,另行设计。

取舍

  • 事件类信号要求恢复证据,会让没有运行时检查的节点(宿主没有运行时、节点上也没有可借用的推理镜像)在致命错误后一直停用到主机重启;管理员可以手动放开验证。宁可多停一张卡,也不把一张刚出过致命错误的卡在一分钟后交给新部署。
  • AER 计数以 agent 启动时为基准:agent 重启会丢掉此前的增量,也不会把开机以来的历史计数当成新错误。

这篇文档有帮助吗?