架构决策记录
ADR 0059: 按服务等级共用 GPU:网关挂起请求等唤醒,驻留仲裁按一条让卡规则抢占
本文目录
日期:2026-10-28 · 状态:已接受
术语以 CONTEXT.md 为准:出让策略(2026-10-28 的原决定里叫服务等级)、驻留仲裁、让卡、保持休眠。
修改 ADR 0058 决策 1 中“不抢占、网关不挂起请求等唤醒”两条;
其余(定时计划、闲置休眠、唤醒等位、让位唤醒、休眠让出到残留)不变。
本文保留了 2026-10-28 的原决定和 2026-10-29 的三次修订;服务等级与预设在第二次修订后不再是术语,当前行为以第二次修订为准,第三次修订(末节)补充新部署也作为等卡方。
背景
ADR 0058 只让平台执行运维事先下达的指令。实际用法里,最常见的共卡是两类负载:实时对话随来随用,批处理只要卡空着就跑; 或者几个模型都不常用,轮流用一批卡。前者要求“实时一来就把卡拿回来,空闲了还给批处理”,后者要求“轮流,但不能来回抖”。 靠定时计划和手动让位做不到:请求什么时候来事先不知道,而休眠的部署收到请求只回 503。
2026-10-28 在阿里云 L20 上实测(vLLM 0.17.1,模型文件在页缓存里):两个 7B / 14B 模型同卡互换,从让出方休眠到被唤醒方出第一个 token
L1 约 2.5 秒,L2 在模型文件留在页缓存里时 3.5–5 秒、读盘时 14B 要 40–110 秒;引擎首次 L1 休眠会钉住约 1.9 倍权重大小的主机内存、唤醒后也不释放,而 agent 在每个可休眠实例启动后都做一次 L1 预热,所以这块内存从启动起就占着;
/sleep?mode=abort 0.7 秒返回,进行中的请求以 finish_reason: "abort" 正常结束(HTTP 200);引擎对休眠期间到达的请求不拒绝、挂到唤醒后才处理。
决策
1. 每个部署有一个服务等级:常驻、在线、分时、离线。 已有部署一律读作常驻,行为不变。常驻以外的等级只用于可休眠的单机部署。
| 等级 | 让卡 | 拿卡 |
|---|---|---|
| 常驻 | 从不让 | 被平台休眠后有请求时,可让分时、离线让卡 |
| 在线 | 只在空闲满 5 分钟后让 | 可让分时、离线立即让卡 |
| 分时 | 在线、常驻随时;同级轮流,每轮至少驻留 Q | 可让离线让卡;同级按等待先后 |
| 离线 | 所有人随时,立即中断进行中的请求 | 只拿空闲的卡 |
两个在线部署不能共用一张卡:两边都忙时谁都不让,各自的请求会一直等对方。改等级时拒绝(409 SERVICE_LEVEL_ONLINE_SHARED),放置时也不把在线部署放到另一个在线部署的卡上。
2. 只有一条让卡规则(yieldpolicy.Yields):等卡的 W 可以让醒着的 H 休眠,当且仅当 H 不是常驻,并且满足其一:
- H 空闲(没有进行中和挂起的请求)满它等级的让卡时长(在线 5 分钟、分时 1 分钟、离线 10 秒);
- H 可被抢(分时、离线)且 W 的等级更高;
- H 与 W 同为分时,H 本轮已驻留满 Q(= max(2 分钟, 10 × 实测切换时间)),且 W 队头请求已等满 30 秒。
一个等卡者要的卡上若有多个醒着的副本,要么都让,要么都不让:只让一部分会停掉服务又腾不出地方。等卡者按等级、再按队头等待先后排队,同级不饿死。同级里有请求在等(或有副本在等放置)的等卡者排在只等着拿回卡的待恢复部署前面(2026-11-01 修订:H20 实测三个分时部署共卡时,待恢复排在请求前面,请求多等了一轮待恢复部署的闲置时间,首 token 从约 8 秒拉长到 67 秒)。
3. 网关替被平台休眠的部署挂起请求。 请求到达一个睡着的部署时,若它的休眠是平台做的(闲置休眠、仲裁让卡),
网关挂住请求、通知仲裁器,并在每次路由重建时重新选实例;挂起有上限(每部署 256、总计 4096)和时长(常驻与在线 2 分钟、分时 10 分钟、离线 30 分钟),
超时回 503 并带 Retry-After。运维或定时计划下的休眠是保持休眠(deployments.sleep_held),请求不唤醒,仍回 503,免得请求推翻运维的决定。
引擎本身虽然会挂住休眠期间的请求,但网关不把请求转给睡着的引擎:唤醒要经过准入,放不下时引擎会卡死在半醒状态。
4. 驻留仲裁是自动化评估器里的一步(internal/server/automation/residency.go),每个 tick、以及网关挂起请求后 100 毫秒内运行。
它先尝试正常唤醒(同 API 的唤醒准入与等位);放不下时按规则 2 判断占卡者,确定要让后:离线以 mode=abort 立即休眠;
忙着的分时先停止接新请求(网关把新请求按休眠挂起),最多等 30 秒让进行中的请求结束,到时仍有请求则 abort;空闲者以 mode=wait 休眠。
被让卡的休眠用 L1(主机可用内存放不下权重时退回 L2),不保持;可被抢的等级(分时、离线)记进“待恢复”,卡空出来时按规则 2 再拿回(2026-11-01 修订:待恢复只在卡没人占时拿回,不再让任何醒着的部署为它让卡。原先它按闲置规则和轮流规则让闲着的、或服务满一轮的占卡者让卡,两个分时部署都没有请求时会每隔一个闲置时间互换一次,H20 实测闲置时间 15 秒时每约 18 秒一次;一方持续有请求时,也要每服务满一轮就停下来让给没有请求的一方。要回卡的一方等有请求在等它,再按让卡规则轮转)。每次让卡、唤醒都写时间线
(AUTO_SLEEP 的 trigger: preempt 与 reason、for_deployment;AUTO_WAKE 的 trigger: request | resume)。
5. 放置为共卡关系留位置。 一个按服务等级共卡的部署(常驻以外)睡着时,对它不共卡的等级(常驻、对在线而言的另一个在线)仍按全量计占用,
所以不会有部署落到它的卡上让它醒不回来;对分时、离线只计残留,它们可以放上去。创建时就可以声明等级(service_level),放置和预览按它计算。
6. 状态的取舍。 持久化只新增两列:deployments.service_level(文本,四个取值之一)和 deployments.sleep_held(布尔)。
挂起的请求、进行中计数、每个部署本轮驻留起点、待恢复名单、排空进度都只在内存:server 重启后,被让卡的部署要等到有请求才唤醒。
后果
- 实时 + 批处理、多模型轮流这两种共卡用法不再需要运维手动安排;所有动作仍能在时间线上逐条对应。
- 离线、分时部署被抢时进行中的请求被截断:非流式请求由网关挂起并在恢复后重放;流式请求无法重放,客户端看到 HTTP 200 与
finish_reason: "abort",要自行重试,长任务建议用平台托管的批处理任务。 - 让卡用 L1:钉住的主机内存在预热时已经占了,L1 不再多占,切换最快且不读盘;代价是每个可休眠部署从启动起占着约 1.9 倍权重大小的主机内存,同一主机上多个可休眠部署要按这个量规划。
- 第一版只覆盖单机部署;多机、PD 保持常驻。新部署启动时若卡被醒着的低等级部署占着,第一版不为启动抢占,部署按“放不下”等待,等对方让卡或休眠后再放(已由末节的修订取代)。
- 仲裁和网关计数都在内存、按部署读,不扫描全部部署;等级只影响按服务等级共卡的少数部署,常驻部署的路径不变。
修订(2026-10-29):一个出让策略取代服务等级与闲置休眠两套设置
上文是 2026-10-28 的原决定,保持原样。实际用下来,服务等级和闲置休眠回答的是同一个问题的两半:“没人用的时候这个部署要不要睡、睡多久之后睡、睡到几级”,却分在两处设置,且各自写死了一部分:让卡的闲置时长由等级固定(5 分钟、1 分钟、10 秒),不能调;让卡时进行中的请求怎么办由等级固定(分时等 30 秒、离线立即中断);让卡一律先 L1;挂起时长由等级固定。改为一个模型:
1. 一个出让策略加参数。 部署有一个出让策略,只决定谁可以抢谁:从不出让(never)> 闲置自动出让(idle)> 时间片轮流(timeslice)> 随时出让(anytime)。让卡规则(原决定 2)的结构不变,只是把“等级”换成策略的等级:占卡者不是 never,并且空闲满它的让卡闲置时长(idle、timeslice 取 idle_sec;anytime 固定 30 秒,不可配置)、或可被抢(timeslice、anytime)且等卡者等级更高、或同为 timeslice 且本轮已驻留满并且对方等满 30 秒。参数只在适用时出现:
idle_sec(30–604800 秒):idle、timeslice的让卡闲置时长,以及任何策略下自动休眠的闲置时长;auto_sleep:无抢占时自动休眠,取代闲置休眠——闲置满idle_sec,即使没有别的部署等它的卡也休眠。它是平台自己选的休眠,不是保持休眠,之后有请求会被唤醒(原决定 3 不变);所有可休眠部署都可以打开,包括多机与 PD;sleep_level(auto/l1/l2):平台替该部署选的每一次休眠(让卡、自动休眠)的级别。auto就是原决定 4 的行为(L1,主机放不下时退回 L2),l1严格 L1(放不下就拒绝,同运维手动下的 L1 休眠),l2总是 L2;运维与定时计划下的休眠不受影响;min_serve_sec(0–3600 秒):timeslice的最短驻留,仍由仲裁抬高到 10 倍实测切换时间;unfinished(abort/wait/wait_unbounded)与unfinished_wait_sec(1–600 秒):timeslice、anytime让卡时进行中的请求怎么办。网关为让卡中的部署挂起新请求,等进行中的请求结束后休眠;wait最多等unfinished_wait_sec秒,到时仍有请求就以mode=abort休眠,wait_unbounded不设上限(一个很长的请求会让等卡者一直等,文档里明确提示)。idle只在闲置时让卡,那时没有请求在跑;never不让卡;hold_max_sec(10–1800 秒):网关为等唤醒挂起一个请求的最长时间,取代原来按等级固定的 2 / 10 / 30 分钟。
2. 服务等级是预设,由存下的参数推导。 常驻 = never;在线 = idle,闲置 300 秒,auto,挂起 120 秒;分时 = timeslice,闲置 60 秒,最短服务 120 秒,wait 30 秒,auto,挂起 600 秒;离线 = anytime,abort,auto,挂起 1800 秒;自动休眠都关。部署上不存预设:界面和 API 里的 preset 是拿存下的策略和参数与四个预设逐项比较得出的,完全一致才是那个预设,否则为 custom。创建部署时只能选四个预设,自定义在创建后编辑。
3. 其余原决定不变。 两个“在线”不能共卡,现在写成两个 idle 不能共卡(409 YIELD_POLICY_IDLE_SHARED,放置同样避开);never 以外的策略只用于可休眠的单机部署(YIELD_POLICY_SHAPE),自动休眠对多机与 PD 部署照旧可用;保持休眠、放置为共卡留位置、选 L1 的理由、状态只在内存的取舍都不变。评估器的 tick 从 15 秒改为 10 秒。
4. 持久化与迁移。 deployments.service_level 与闲置休眠的列删除,换成带类型的列:出让策略、自动休眠开关、闲置时间、休眠级别、最短服务时间、未完成请求处理与等待时间、挂起上限;预设不存。迁移 189 把已有部署的服务等级换成该预设的策略和参数;原来开着闲置休眠的部署,自动休眠打开,idle_sec 取原闲置时长(不足 30 秒的取 30 秒),sleep_level 取原休眠级别(l1 / l2),因此成为自定义——它的闲置时间此后同时是它让卡的闲置时长。
5. API。 删除 PUT /api/v1/deployments/{id}/service-level 与 PUT /api/v1/deployments/{id}/idle-sleep,部署的 service_level、idle_sleep 字段与创建请求的 service_level 同时删除;新增 PUT /api/v1/deployments/{id}/yield-policy(请求体二选一:{"preset":…} 或 policy 加参数),部署详情带 yield_policy,创建请求带可选的 yield_policy。调度总览、看板占用者、驻留时间线里的 service_level 改名 preset。错误码 SERVICE_LEVEL_INVALID、SERVICE_LEVEL_SHAPE、SERVICE_LEVEL_ONLINE_SHARED、IDLE_SLEEP_INVALID 由 YIELD_POLICY_INVALID、YIELD_POLICY_SHAPE、YIELD_POLICY_IDLE_SHARED 取代。时间线事件码 AUTO_SLEEP、AUTO_WAKE 不变,AUTO_SLEEP 的 trigger 仍是 schedule / idle / preempt,idle 现在指无抢占时自动休眠,level 是平台实际选的级别(1 或 2)。
后果。
- 一个设置面板就能回答“让不让、什么时候让、让时请求怎么办、没人用时睡不睡”,不再需要在两个页签之间对照。
- 随时出让(原离线)的空闲让卡时间由 10 秒改为固定 30 秒;其余三个预设的行为与原等级一致。
- 迁移前开着闲置休眠的部署变成自定义,它的闲置时间同时决定让卡的闲置时长。
wait_unbounded把“等卡者等多久”交给最长的那个请求;只在运维明确接受时使用。
再修订(2026-10-29):出让策略是唯一的选择
上一次修订之后,界面上有两层东西:出让策略和参数,以及压在它们上面的四个服务等级预设(常驻、在线、分时、离线,改动任何一项就成了“自定义”)。实际用下来,预设和策略是同一个维度:常驻就是 never,在线就是 idle,分时就是 timeslice,离线就是 anytime,再选一个预设等于换一次策略,再选一个策略又会把预设弄成自定义。同时,几处写死或多出来的设计也不再站得住。改为只有出让策略一个选择,上一次修订里与此冲突的部分以本节为准。
1. 预设取消。 出让策略只有四个值,按等级从高到低:不自动出让(never)> 闲置自动出让(idle)> 按时自动出让(timeslice)> 随时出让(anytime)。常驻、在线、分时、离线与“自定义”不再是概念,它们只在说明每个策略适合什么时出现:常驻服务、在线服务、多个模型分时共用、批处理与离线任务。API 的 preset 请求体与响应字段删除,调度看板、总览、驻留时间线里的 preset 改为 yield_policy(策略名)。
2. 无抢占时自动休眠取消。 没有别的部署等它的卡时,睡下只会让显存空着,还让它自己的下一个请求多付一次唤醒;让卡的动作本来就只在有人等卡时才有意义。所以部署在无人等卡时一直醒着,auto_sleep、TriggerIdle 触发的 AUTO_SLEEP(trigger: idle)与评估器里的闲置扫描一并删除。要在固定时间睡下,用定时计划。不自动出让的多机与 PD 部署因此没有任何休眠参数。
3. 闲置时间对除不自动出让外的所有策略通用。 原来 anytime 的闲置让卡时长固定 30 秒、不可配置,idle 与 timeslice 各自有一个,参数的适用范围因策略而异。现在 idle_sec(15–604800 秒)对三个会出让的策略都适用:闲置(没有进行中或挂起的请求)满它,有部署等卡就让。默认值 idle 60 秒、timeslice 30 秒、anytime 30 秒;下限从 30 降到 15 秒。
4. 最长服务时间取代最短服务时间。 min_serve_sec(0–3600 秒,仲裁再抬高到 10 倍实测切换时间)改为 max_serve_sec(30–86400 秒,默认 120 秒),只用于 timeslice:与另一个按时自动出让的部署轮流时,占卡的一方这一次醒来服务满它就让给等着的那个,不再要求对方的请求已等满 30 秒,也不再随实测切换时间拉长。理由是“至少服务多久”回答的是占卡者不让,而轮流真正要限制的是占卡者不能一直占着;上限由运维直接给出,行为可以预期。timeslice 的 idle_sec 不得超过 max_serve_sec,否则闲置时间永远等不到。
5. 不再有不限时的等待。 wait_unbounded 删除:unfinished 只有 abort 与 wait(unfinished_wait_sec 1–600 秒,默认 30 秒)。一个很长的请求最多拖住等卡者 600 秒。请求最长挂起时间 hold_max_sec 的范围改为 10–3600 秒,默认 idle 300 秒、timeslice 600 秒、anytime 3600 秒。
6. 两个 idle 部署可以共用一张卡。 原来在设置时拒绝(409 YIELD_POLICY_IDLE_SHARED),放置时也避开。现在允许,错误码删除:两边都忙时谁也不让,一方的请求被网关挂起,直到对方闲置,或挂到自己的 hold_max_sec 后得到 503。PUT .../yield-policy 的 200 响应里 idle_neighbours 列出卡上其他的 idle 部署,界面据此给出警告,并建议改用 timeslice 轮流。拒绝改为警告的理由是:这种共用并不危险,只是对忙的一方慢;把它挡在设置之外还会让运维没有办法表达“它们平时都闲着,偶尔忙一下”。
7. 让卡在到期时执行,不等 tick。 驻留仲裁为下一个到期的时刻(闲置时间满、一轮服务结束、等待完成的上限到)设一个定时器,到点就看,而不是等 10 秒的评估 tick,所以 15 秒、30 秒这样的阈值能准到约一秒。忙着、要等它闲置才让的占卡者,每 2 秒看一次它是否闲置。仲裁看一个等卡者的占卡者时,即使它的唤醒正在等位(放不下),也会重新看。
8. 策略字典由服务端给出。 新增 GET /api/v1/scheduling/yield-policies:四个策略按等级列出,每个带 defaults 与适用的参数 applies,加各数值参数的范围 bounds(at_most 标出 idle_sec 不得超过 max_serve_sec)、sleep_levels 与 unfinished。默认值、范围与哪些参数适用只有服务端一份,界面不另存。
9. 等位的唤醒解除保持休眠。 运维的 POST /deployments/{id}/wake?wait=true 放不下、应答 202 waiting 时,部署的保持休眠(sleep_held)就解除了:部署是要醒的,之后到达的请求由网关挂起、等这次唤醒,驻留仲裁也可以按各自的出让策略为它腾地方,而不是回 503。以前保持要等唤醒落地才解除。
10. 持久化与迁移。 迁移 190 把 deployments 的列改形:删除 auto_sleep 与 min_serve_sec,新增 max_serve_sec;timeslice 部署的 max_serve_sec 取原最短服务时间,不足 30 秒的取 30 秒;anytime 部署的 idle_sec 取原来内置的 30 秒;unfinished 为 wait_unbounded 的改为 wait 600 秒;开着自动休眠的不自动出让部署成为普通的不自动出让部署(升级后不再在无人等卡时自己睡下);小于 15 秒的闲置时间提到 15 秒,timeslice 的闲置时间不超过 max_serve_sec,大于 3600 秒的挂起上限降到 3600 秒。
后果。
- 一个下拉就能回答“让不让、什么时候让”,不再有“预设变成自定义”的状态,界面与文档也不再各讲一套术语。
- 升级前依赖“无抢占时自动休眠”释放显存的部署,升级后不再自己睡下;改用定时计划在固定时间休眠。
timeslice的轮流长度变成运维直接给出的上限,切换慢的模型要自己把max_serve_sec设得大些。- 两个
idle部署共用一张卡不再被拒绝,运维需要读懂警告里的含义。
修订(2026-10-29):新部署作为等卡方
原决定“新部署启动时若卡被醒着的低等级部署占着,第一版不为启动抢占,部署按‘放不下’等待”(后果一节)由本节取代。实际用下来,在线部署创建到一张被批处理部署醒着占着的卡上,会一直停在“放不下”,要运维先手动让位,与“实时一来就把卡拿回来”的目标相反。改为:新副本也是等卡方。
1. 放置把共卡的占卡者当作已休眠再算一次。 出让策略不是 never 的部署启动新副本,放不下时,放置把与它共卡的部署(策略也不是 never)醒着的实例当作已休眠,重新试算;放得下,副本就不再是“放不下”,而是等待放置,原因是调度原因码 waiting_for_yield,参数 node、holders(每个占卡部署一项:deployment、at_once,不是立即让时还有 idle_sec 与按时自动出让的 max_serve_sec,即它按什么条件让给这个新部署)和 instances。这些条件取自让卡规则(yieldpolicy.TermsOf),放置、仲裁和界面文案共用这一份。
2. 驻留仲裁把这个副本当作等睡着部署的请求,用新部署的策略。 占卡者按同一条让卡规则休眠:新副本等级更高时,按时自动出让、随时出让的占卡者立即让;否则等占卡者闲置满它的闲置时间;同为按时自动出让时,在占卡者这一轮服务满最长服务时间时让。never 的新部署不等任何人,仍要有空闲的卡;never 的占卡者从不被要求让。
3. 控制器每 5 秒重新算一次。 节点池里的副本只有在没有节点能直接放下时,才选需要等卡的节点。等待只在内存里,不新增持久化;server 重启后控制器第一轮重新记下。
4. 让出的一方不抢回。 让卡的部署在新副本放置、启动期间(最多 10 分钟,模型加载可能要几分钟)不会把卡拿回去;新副本的一轮服务和闲置时间从它开始服务时算起,否则它刚醒就因“已服务满”或“已闲置”被反让。
后果。
- 进程级用例实测:把一个在线(
idle)部署创建到一张随时出让(anytime)部署醒着占着的卡上,创建后约 6 秒开始服务,随时出让的部署按等级被休眠。 - 多机与 PD 部署的策略仍必须是
never,不参与;它们的卡被占着时照旧按“放不下”等待。 - 新部署的副本可能因此让别人休眠,动作仍写进时间线(
AUTO_SLEEP,trigger: preempt,for_deployment是新部署)。
修订(2026-10-30):保持休眠不留卡
原先,按出让策略共卡的部署睡着时,一律对不共卡的部署(never)保留它的全部占用,不论这次休眠是谁下的。实际用下来,运维手动休眠了一个共卡部署后,钉在那张卡上的新部署一直放不下,读起来像“没有空卡”,而请求本来就唤醒不了这个休眠。改为:
1. 只在请求能唤醒时才留卡。 保留只对 Deployment.WakesOnRequest() 为真的休眠者生效:部署可休眠,且休眠不是保持休眠(sleep_held,运维或定时计划下的休眠)。网关(挂起请求还是回 503)、驻留仲裁和放置问的是同一个问题,只有这一份答案。
2. 保持休眠不留卡。 请求唤醒不了它,它的卡对任何新部署开放;之后运维或定时计划的唤醒本来就要等位(?wait=true)或让位(?yield=true),放不下是明示的语义,不是缺陷。
3. 留着的卡要说出是谁留的。 新部署只因为休眠者留卡而放不下时,原因是新的调度原因码 reserved_for_sleepers,参数 node、gpus 和 sleepers(每项 deployment、policy),界面给出三条出路:换一张卡、为本部署开启休眠并选能共卡的出让策略、手动休眠占卡的部署。
后果。 一个手动休眠的部署,卡可能在被唤醒前就被别的部署占了;这和“休眠让出的容量是真的让出”一致。出让策略与让卡规则不变。
修订(2026-10-30):保持休眠按实例记录
原决定把保持休眠记在部署上(deployments.sleep_held),这带来两个缺陷:唤醒一个实例会解除整个部署的保持,运维仍想让它睡着的其他实例变得请求可唤醒;部署被保持时,驻留仲裁让卡睡下的副本(不是保持)也被当作不可唤醒,永远不会被恢复。
1. 保持是实例的事实。 迁移 191 新增 instances.sleep_held(布尔),把原先被保持的部署里下令睡着的实例回填为被保持,然后删掉 deployments.sleep_held,保持只有一个来源。保持休眠只保持它点名的实例(部署整体与定时休眠是全部实例,角色休眠是该角色,副本休眠是那个副本,让位唤醒是被让位的副本),唤醒只解除它唤醒或留下等位的实例的保持,平台的休眠不碰保持。部署整体的休眠命令总是保持休眠:只有运维或定时计划会让整个部署睡,平台只点名副本;在这样的命令下新起的实例也被保持。
2. 请求能否唤醒按实例问。 Deployment.WakesOnRequest(instance):部署可休眠且该实例未被保持。部署层面的回答都由它推导:网关在部署还有请求能唤醒的休眠实例时挂起请求,全部被保持时立即回 503;批处理模型状态、试验场的 wakes_on_request、放置留卡、驻留仲裁的可唤醒判断与恢复都一样。请求或恢复触发的唤醒只唤醒未被保持的实例;运维和定时计划的唤醒唤醒它点名的实例并解除其保持。
3. 网关不为此多读。 网关判定休眠时本来就逐请求读了该部署的实例行(快照只装清醒的候选),保持标志在同一批行里,判定结果随这次拒绝记下,holdForWake 直接读取,不新增查询。
4. 部署 DTO 只给推导值。 sleep_hold(all/some/none,没有休眠副本时省略)由休眠副本的保持推导,sleep_held 保留为 sleep_hold == all;实例 DTO 新增 sleep_held。界面按 sleep_hold 显示提示,按实例的 sleep_held 给每个副本打标签,不自己判断。
修订(2026-11-03):运维的休眠按出让策略决定是否保持
原决定把运维下的休眠一律作为保持休眠。实际用下来,在 H20 上让两个按时自动出让的部署共卡跑批处理时,运维手动让其中一个睡下(为了腾卡或做实验)之后,请求再也唤醒不了它,它就退出了轮流用卡;唤醒它又放不下,只能选让位唤醒,而让位唤醒又把另一个部署设成保持休眠,两个部署于是永远不能自动切换。运维的本意通常只是“现在先睡”,而不是“推翻这个部署的出让策略”。改为:
1. 运维的休眠由运维选是否保持,默认按出让策略。 部署、角色和副本的休眠命令接受 wake_on_request(true 请求能唤醒,false 保持休眠)。不填时取 planning.OperatorSleepWakesOnRequest:部署可休眠且出让策略不是 never 时请求能唤醒,否则保持。理由:选了会出让的策略,就是同意按需让卡、按需要回;不自动出让的部署本来不和别人轮流,运维让它睡就是要它睡着。部署 DTO 给出这个默认值 sleep_wakes_on_request,界面的休眠确认框把它作为“有请求时自动唤醒”的初值,不自己判断。定时计划的休眠不变,总是保持。
2. 部署整体的命令仍只用于保持休眠。 部署整体的休眠命令(deployments.desired_sleep)在命令下新起的实例也睡着并被保持,所以它只表达保持休眠;运维选了请求能唤醒的整体休眠时,平台逐个点名醒着的副本下令,和驻留仲裁的做法一样。
3. 让位唤醒对占用者用同一条规则。 被让位的占用者出让策略不是 never 时不保持,请求能唤醒它、按规则要回卡;never 的照旧保持。应答在 yielded 之外新增 yielded_held,列出被保持的那些;时间线 YIELDED_FOR_WAKE 记 wake_on_request。
4. 已有的保持可以解除而不唤醒。 新增 POST /api/v1/deployments/{id}/wake-on-request:解除该部署全部实例的保持(store.ReleaseSleepHolds),不改任何实例的休眠意图,同时撤销部署整体的休眠命令(它总是保持的,留着会让新起的副本又睡着并被保持)。时间线记 SLEEP_HOLD_RELEASED(带操作人),调度记录归入手动操作。以前只能“等位唤醒再取消等位”绕过去。
后果。 一个出让策略会出让的部署,被运维手动睡下后仍为请求唤醒留卡(留卡规则见上一条修订,只看请求能否唤醒);运维想让它真正放出卡给不共卡的部署,要显式选保持休眠。批处理的模型状态、试验场提示、网关和驻留仲裁都按实例的保持判断,不需要改。
修订(2026-11-13):server 重启后读回可以推出的调度状态
原决定 6 说挂起的请求、每轮驻留起点、待恢复名单、排空进度都只在内存,server 重启后被让卡的部署要等到有请求才唤醒。主线上用 SIGKILL 杀 server 实测:靠请求驱动的状态在客户端重试后都能恢复,但待恢复的部署在卡空出来后一直不要回卡,按时自动出让的占卡者重启后又从头服务一整轮。正常停止时,挂起中的请求等满 5 秒的优雅关停后被断开,客户端看到的是断连而不是可以重试的拒绝。改为:
1. 不新增持久化,只读回事件里已有的事实。 仲裁器启动后的第一次查看从事件日志读回待恢复名单:部署的出让策略会被抢(按时自动出让、随时出让),有请求能唤醒的休眠实例,并且它最近一次休眠或唤醒事件(AUTO_SLEEP、AUTO_WAKE、YIELDED_FOR_WAKE、SLEEP_ORDERED、WAKE_ORDERED 中最新的一条)是 AUTO_SLEEP、trigger: preempt。之后运维动过它,就不读回。10 分钟内的让卡连同“对方还在醒来时不要回卡”的保护一起读回;读失败时下一次查看再读。
2. 一轮的起点按实例事件算。 按时自动出让的占卡者,一轮从它最近一次开始服务算起,取自实例的状态与休眠事件(驻留时间线),最多回看一轮的长度;仲裁器自己看到的更晚的唤醒优先。这也纠正了不重启时的一处偏差:运维或定时计划唤醒的占卡者,以前一轮从 server 启动算,现在从它醒来算。
3. 闲置时间不读回。 被重启截断的请求结束时才会写请求记录,截断的请求不会留下运行过的记录,所以存下的数据证明不了占卡者在重启前是闲着的;读回会让一个重启时正忙着的部署立即让卡,违反“闲置满才让”。闲置仍从进程启动算起,最多让等卡方多等一个闲置时间。
4. 停止时挂起的请求回 503。 server 正常停止(升级、restart、服务管理器停服)时,网关立刻以 503 结束挂起中的请求,带 Retry-After: 10(约一次重启的耗时)和“server 正在重启,请重发请求”;之后到达、本该挂起的请求也这样拒绝。已经在转发中的请求不受影响,仍在优雅关停结束时断开。SIGKILL 什么也做不了,客户端看到断连。
5. 排空进度和挂起请求本身仍只在内存。 排空进度丢了,副本重启后照常接请求,等卡方再出现时重新判断;挂起的请求随连接消失,靠客户端重试回到队列。节点失联重调度的撤回记录同样从事件读回,见 ADR 0058 2026-11-13 修订。
后果。
- 重启或升级不再让待恢复的部署失去自动要回卡的机会,按时自动出让的轮流也不因重启多给一轮。
- 客户端要对连接错误和带
Retry-After的 503 重试,重试的总退避要覆盖一次重启。 - 进程级用例
TestProcessResidencyAcrossAServerStopAndKill覆盖正常停止、SIGKILL 和待恢复三种情形。
这篇文档有帮助吗?