操作指南
使用调度分析:定时计划、出让策略、唤醒等位
本文目录
本文说明怎样让平台替你执行事先约定好的 sleep / wake 和副本数调整,以及怎样在调度看板上看清每张卡被谁占着、什么在等、接下来要发生什么。
适用场景:多个可休眠的模型轮流使用同一批 GPU(例如白天一个模型、夜里另一个),或者实时模型与批处理模型共用一批卡。
前置条件:
- 定时休眠、定时唤醒和出让策略要求部署可休眠(vLLM,创建时打开),条件见操作 sleep / wake。
- 定时副本数用于单机部署,以及自动放置(
placement_mode为auto)的多机部署和 PD 部署(PD 按角色各定各的);手动放置的多机部署和 PD 部署不支持。 - 出让策略(不自动出让以外)只用于可休眠的单机部署;多机与 PD 部署的策略必须是不自动出让。
- 调度分析不按负载扩缩容;平台只在出让策略允许时让一个部署为另一个让卡,见出让策略。
调度分析做什么
| 功能 | 你事先约定 | 平台到点做 |
|---|---|---|
| 定时计划 | 周几、HH:MM、时区,加上休眠 L1/L2、唤醒或副本数 | 到点执行一次同样的 API 动作 |
| 唤醒等位 | 唤醒放不下时选择“等位” | 卡腾出来后自动唤醒,等满 30 分钟放弃 |
| 让位唤醒 | 唤醒放不下时选择“让占用者休眠后唤醒” | 先休眠占用者,再等位唤醒 |
| 按需唤醒 | 无需设置:平台自己让它睡下的部署(让卡) | 有请求时网关挂起请求、唤醒部署,醒后放行 |
| 出让策略 | 不自动出让、闲置自动出让、按时自动出让或随时出让,加适用的参数 | 共用一批卡的部署之间按策略让卡、轮流 |
它们执行的是你手动操作时同一套动作:同一把生命周期锁、同样的资格检查和唤醒准入。自动唤醒和你手动点唤醒不会同时通过同一张卡的准入。每个自动动作都写进部署时间线,见时间线事件。
部署详情里的调度策略卡片把这些设置收在一处:折叠时用一行摘要显示节点失联重调度的等待时间、定时计划的条数和下一次执行、出让策略的摘要(部署不可休眠时不显示);只有管理员能看到编辑,点开后每项一个页签,各自保存。节点失联重调度见节点失联重调度。
调度看板
从左侧菜单「概览」组的调度分析(/scheduling,在「用量分析」下面)进入,上半部分看整个集群,下半部分看队列和历史:
-
概览条:整个集群的卡总数;提供服务、休眠、空闲、被平台外进程占用、故障、所在节点离线各有多少张(六类互斥,加起来等于总数);争用情况——等位中的唤醒、此刻挂起等唤醒的请求、最近一小时的让位次数,以及待放置的部署和未来 24 小时的计划数。这些数是服务端对整个集群算的,不随下面的筛选变化。
-
GPU 热力图:每张卡一个小方格(约 12 px),按节点分组;1000 个节点、每节点 8 张卡也只占一两屏。颜色表示卡的状态,图例在卡片右上角:
颜色 含义 蓝,占用越多越深 提供服务:有实例占着显存,深浅是占用的显存比例 紫 休眠:卡上只有休眠者留下的残留 浅绿,绿框 空闲 橙 被平台外的进程占用 红 故障,或因所有权、健康状态不可用 灰斜纹 所在节点离线(上次上报的数,不一定准) 黑色内框 卡上有实例正在启动、休眠、唤醒或排空 一张卡只有一个状态,由服务端按固定的先后判定(所在节点离线、故障、被平台外进程占用、提供服务、休眠、空闲,取第一个成立的);总览的汇总、热力图的颜色和节点抽屉里每张卡的状态用的是同一份结果,页面只负责配色和措辞。
鼠标悬停或键盘聚焦一个方格,会弹出这张卡的详情:节点、卡序号、型号、显存、提供服务 / 休眠 / 空闲各占几成,以及占用者(部署、出让策略、提供服务还是休眠)。热力图本身不带占用者的明细,所以千卡规模也只需要一次约 290 KB(gzip 后约 25 KB)的读取。
-
筛选与视图:按 GPU 型号(可多选)、节点标签(
key=value)、节点状态(有空闲卡、有休眠者、有卡被外部占用、离线)筛选;在「查找部署」里输入部署名的一部分,占着卡的方格会加红圈,其余变淡,并显示有多少张卡被占用。分组可选按节点(默认)、按 GPU 型号,或按某个节点标签的值;排序可选按名称、按空闲容量(卡上没被占用的显存之和,不计离线、故障、被外部占用的卡)、按争用(等位的休眠实例,加为该节点上休眠的部署挂起的请求,再加该节点上有卡的部署的让位次数)。清除筛选与视图回到默认。 -
节点抽屉:点击一个方格,或页面上任何一处节点名(调度活动旁「最近切换最频繁的卡」、共卡部署表的「节点与卡」、调度记录的「节点」列),右侧抽屉打开这个节点:每张卡一条横条,分提供服务的占用、休眠留下的残留显存和空闲,卡上的占用者(部署及其出让策略,提供服务或休眠、休眠级别、分配量和残留),被平台外进程占着的卡会标出,下面是这个节点的驻留时间线。抽屉只在打开时读这一个节点。打开的节点写在地址里(
/scheduling?node=<节点 UUID>),可以把链接发给别人直接打开;关闭抽屉会去掉这个参数,浏览器的后退可以回到上一个打开的节点。 -
调度活动:热力图下面,按原因堆叠的调度次数柱状图,旁边列出同一范围内切换最频繁的卡,见调度活动。
-
等待放置的部署:最近 30 分钟内被调度拒绝的部署和原因,原因的写法与部署详情里的放置状态相同。新副本在等共卡的部署让卡时,原因是
waiting_for_yield(见下文新部署怎样放到共用的卡上);只是因为休眠中的部署为请求唤醒留着卡而放不下时,原因是reserved_for_sleepers(见同一节)。 -
等位中的唤醒:哪些部署在等、从什么时候开始,可以取消等位。
-
未来 24 小时的计划动作:时间、部署、动作。
-
共卡部署:整个集群里出让策略不是不自动出让的部署在 15 分钟、1 小时、6 小时(默认)或 24 小时窗口内的统计,见驻留时间线。
-
调度记录:什么时间、什么原因、发生了什么调度,见调度记录。
只用键盘也能操作热力图:Tab 进入后焦点停在一个方格上;左右键在卡之间移动(跨节点连续),上下键在相邻节点的同一位置之间移动,Page Up / Page Down 一次跳十个节点,Home / End 到第一张和最后一张;回车或空格打开该节点的抽屉。页面每 10 秒刷新一次,集群没有变化时界面不重绘。
服务端把整个集群的状态放在内存缓存里,节点、实例、部署的变化会让它失效,但最多每 2 秒重建一次,所以大集群的状态上报不会让每次刷新都重算。接口为:
curl --fail-with-body -sS "$API_URL/api/v1/scheduling/overview" -H "Authorization: Bearer $TOKEN"
curl --fail-with-body -sS "$API_URL/api/v1/scheduling/board?node=$NODE_UUID" -H "Authorization: Bearer $TOKEN"总览的结构见 API 参考。看板接口 GET /api/v1/scheduling/board 仍可按节点分页读取(page、page_size、q;q 匹配节点名称、主机名或 UUID 的一部分,不分大小写),响应的关键结构如下(nodes 是分页对象,其余三项是全集群范围):
{
"nodes": {
"items": [{
"uuid": "…", "name": "host2", "online": true,
"gpus": [{
"index": 0, "name": "RTX 8000", "memory_bytes": 51539607552,
"awake_bytes": 0, "sleeping_bytes": 1610612736, "free_bytes": 49928994816,
"state": "asleep", "held_outside": false, "switching": false,
"occupants": [{
"deployment_id": 7, "deployment": "qwen", "yield_policy": "timeslice", "instance": "…", "state": "asleep",
"sleep_level": 2, "claim_bytes": 38654705664, "residue_bytes": 1610612736
}]
}]
}],
"page": 1, "page_size": 20, "total": 3
},
"pending": [], "waiting_wakes": [], "upcoming": []
}实际 free_bytes 等是字节整数,上面是示意;residue_bytes 只在休眠的占用者上出现。每张卡的 state 与总览同一套取值(offline、unhealthy、held_outside、awake、asleep、free),switching 表示卡上有实例正在启动、休眠、唤醒或排空。看板不再带 recent(最近的自动化事件),那些事件看下面的调度记录。
驻留时间线
节点抽屉里的驻留时间线给这个节点的每张卡画一张横向时间轴:每个占用过这张卡的部署一条泳道,色块是它在那一段时间的状态:
| 状态 | 含义 |
|---|---|
| 提供服务 | 实例在运行、能服务请求 |
| 休眠 | 引擎已休眠,只留下残留显存;标明 L1 或 L2 |
| 切换中 | 从休眠或唤醒指令到结果之间 |
| 启动中 | 创建、拉取镜像或加载中,还不能服务 |
时间刻度按比例绘制,悬停或用键盘聚焦色块可以看到部署、状态和起止时间。窗口用平台通用的时间选择器选:快捷窗口 15 分钟、1 小时、6 小时(默认)、1 天,或自定义起止时间(至多 7 天,结束时间不晚于现在)。两处的可选窗口都由服务端随响应给出(windows),界面照着显示;请求里 window 给其他值时 400 FIELD_INVALID,消息写明可选的窗口。快捷窗口每分钟刷新一次;自定义范围是固定的一段,只读一次、不刷新。
换手很频繁的卡:一张卡在窗口里的分段超过 200 段(比如两个分时共卡的部署每十几秒就换一次),时间线逐段画最近的 200 段,更早的时间由服务端汇总成至多 50 个等长的时间段,画进各个部署自己的那一行:每个部署一行,贯穿整个窗口,汇总分界线左边是它在各时间段里的斜纹色块,右边是逐段记录,没有单独的汇总行。色块的颜色是服务端算出的、这个部署在这一段里待得最久的状态(服务、休眠、切换中、启动中,颜色与逐段记录相同;时长一样长时按服务、切换中、启动中、休眠的先后取第一个),页面不自己判断;图例多一项「已汇总(较早)」说明斜纹。一条虚线在每一行上标出汇总到哪里为止,卡标题旁写「…… 之前已汇总」。只在汇总的那段时间占过这张卡的部署,同样有自己的一行。悬停或用键盘聚焦一个色块,提示里写这一段的起止时间、这张卡换手的次数,以及这个部署服务、休眠、切换中、启动中各多久(没待过的状态不写),例如「09:00 至 09:26 · 本卡切换 85 次 · 本部署服务 12 分钟 · 休眠 13 分钟 · 切换中 1 分钟」。「换手」指卡上醒着的部署变成了另一个部署,一次让出加一次唤醒只算一次,与下面共卡部署表里按部署各自计的「切换」(让出加唤醒)口径不同;同一个部署休眠后又醒来不算换手。没有部署占过这张卡的时间段不画。分段不超过 200 段的卡完全逐段显示,没有斜纹色块和虚线。
自定义范围里:开始时间之后才创建的实例不出现;结束时间之后才被移除的实例照常占着卡到结束时间;每个实例在开始时间的状态取此前最近的事件。时间轴按范围的长短取刻度:15 分钟按几分钟,1 小时按 10 分钟,几小时到一天按整点,超过一天加上日期,一周按天。已经结束的范围,同一页节点的答案会缓存约 5 分钟,再次打开不重读事件日志;快捷窗口的答案缓存约 30 秒,几个人同时看同一页时共用一次读取,所以时间线最多落后现在 30 秒。
「共卡部署」表里切换、让出、被让的次数来自调度活动,只保留最近 24 小时:自定义范围早于这个时间开始时,这三列显示 —,表上方有一行说明,其余各列(提供服务时长、挂起的请求等)照常。
页面上的共卡部署表列出整个集群里在窗口内占过卡、出让策略不是不自动出让的部署(抽屉的时间线下面有同样的表,只含占过这个节点的卡的部署)。窗口内让出过卡或被让过卡、此后被删除的部署同样列出,名字后标「(已删除)」并置灰,不链接,等级列显示 —,与调度记录对已删除部署的写法一致:它们确实在窗口内共过卡,删掉它们不应让别的部署的「被让」凭空变少。
| 列 | 含义 |
|---|---|
| 节点与卡 | 各副本此刻所在的节点和卡,每个节点一行,节点名可点击,打开该节点的抽屉;节点已不存在时显示 #id、不可点击;没有放置时显示 — |
| 提供服务时长、占比 | 至少一个副本醒着的时间 / 部署在窗口内存在的时长,及前者占后者的比例。存在时长从窗口起点或部署创建(取较晚者)算到现在或删除(取较早者),所以窗口中途创建、一直醒着的部署显示接近 100%,而不是它占整个窗口的比例 |
| 切换 | 让出次数加上被平台唤醒的次数 |
| 让出、被让 | 为别的部署让出卡而休眠的次数,以及别的部署为它让出卡的次数 |
| 挂起的请求、挂起等待 p50 / p95 | 网关为等它唤醒而挂起的请求数,以及这些请求挂起等待时间的中位数与 95 分位 |
接口是单独的,以免拖慢每隔几秒刷新一次的总览:
curl --fail-with-body -sS \
"$API_URL/api/v1/scheduling/timeline?node=$NODE_UUID&window=6h" \
-H "Authorization: Bearer $TOKEN"
curl --fail-with-body -sS \
"$API_URL/api/v1/scheduling/timeline?node=$NODE_UUID&since=2026-10-28T06:00:00Z&until=2026-10-28T09:00:00Z" \
-H "Authorization: Bearer $TOKEN"
curl --fail-with-body -sS \
"$API_URL/api/v1/scheduling/timeline?sharing=1&window=1h" \
-H "Authorization: Bearer $TOKEN"口径和限制:
- 让出只有一个口径:总览的「最近一小时的让位次数」、时间线的「让出」「被让」和共卡部署表数的是同一类事件——驻留仲裁让占卡者休眠(让卡),以及运维的让位唤醒(
?yield=true)让占用者休眠。运维的让位唤醒同样记下为哪个部署让(for_deployment),所以它在调度记录里同样链接到那个部署,那个部署的「被让」也会计上这一次。 - 泳道由实例记录和事件日志推导。移除实例时会多记一条
INSTANCE_REMOVED事件,写明它占过的节点和卡;升级前已被移除的实例没有这条记录,不出现在过去的段里。 - 表里的数(提供服务时长、存在时长、切换、让出、被让)来自调度活动的汇总,不读事件日志:事件写入时就记下,最近 24 小时在内存里,server 重启时从事件日志回放一次。
- 抽屉里的表只列出在这个节点的卡上出现过的部署,而且只统计部署在这个节点上的副本:提供服务时长与存在时长按这个节点泳道上它的各段算(存在时长是它至少一个副本在这个节点占着卡的时间),切换、让出、被让、唤醒只计涉及这个节点上的卡的事件;表头旁的 ⓘ 图标(鼠标悬停或键盘聚焦)会提示「只统计本节点上的副本」,这一提示按服务端返回的统计范围显示。页面上的共卡部署表仍是部署在整个集群里的值(全部副本),所以一个副本分布在多个节点上的部署,各节点抽屉里的数加起来才是共卡部署表里的数(醒着与存在时长在各节点重叠时除外)。挂起请求数与等待时间是网关为整个部署记下的,两处相同;「节点与卡」列出它所有副本此刻所在的位置。「被让」按让位事件记下的
for_deployment计,让出者已删除也计。sharing=1的结果缓存约 30 秒。 - 已删除的部署不保留创建时间和出让策略:它的存在时长从它的实例在窗口内最早出现时算起,到删除时为止。
- 多机副本的从属实例跟随主实例的休眠与唤醒。
- 每张卡最多返回最近 200 段,更早的被省略,界面会标出。
- 等待时间的分位数是网关每个刷新间隔的分位数按各间隔请求数加权得到的近似值,不是窗口内逐请求的精确分位;网关重启后计数从零重新累计;窗口内没有被挂起的请求时这两列留空。网关记录等待时间的指标见推理指标里的
wake_hold_wait_ms。
调度活动
调度分析页面上 GPU 热力图下面的调度活动卡片,用堆叠柱状图显示一段时间内平台为什么调度:
| 原因 | 计入的事件 |
|---|---|
| 闲置让卡 | 驻留仲裁让闲置的占卡者为等卡的部署休眠 |
| 排位抢占 | 排位更高的部署抢占可抢占的占卡者(没有写明原因的抢占也算在这里) |
| 时间片轮转 | 同级部署轮流使用,占卡者用满了它的时间片 |
| 运维让位 | 运维的让位唤醒让占用者休眠(YIELDED_FOR_WAKE) |
| 定时计划 | 定时计划的休眠、唤醒和改副本数 |
| 放置与迁移 | 平台把新副本放到节点上(UNIT_PLACED)、把副本从运维排空的节点迁出(NODE_DRAIN_MOVED) |
| 失败(重建 / 替换 / 超时) | 副本被重建、节点失联后迁移(含回退与无处可迁)、重试预算用尽、滚动重启停住、唤醒等位超时、自动指令执行失败 |
| 无法调度 / 排队 | 部署放不下、唤醒开始等位 |
请求或恢复触发的唤醒(让位的另一半,已在让出的一侧计过一次,但仍算作卡的一次切换)和运维下的指令不计入任何原因,它们在调度记录里都能看到;节点失联后的迁移算作失败。原因的集合与顺序由服务端给出,界面只负责配色和措辞。
- 时间范围:默认近 24 小时;快捷范围为 15 分钟、1 小时、6 小时、1 天、1 周(与调度记录同一组),也可以自定义起止时间。每根柱子多长由服务端按范围选:15 分钟与 1 小时按 1 分钟,6 小时按 5 分钟,24 小时按 15 分钟,1 周按 1 小时,自定义范围取让柱子不超过约 200 根的最短长度。
- 最近切换最频繁的卡:同一范围内换过占用者次数最多的卡(节点、卡序号、次数),按图的高度能放下几行就列几行;点击节点名打开该节点的抽屉。一张卡上的一次让卡或一次唤醒算一次切换,按事件涉及的实例当时所占的卡计。
- 保留期:最近 24 小时的数在 server 内存里,按分钟累计;更早的按小时写进 stats.db,按小时保留 31 天、按天保留 400 天(与用量分析的长期统计共用数据保留设置)。自定义范围的开头早于按天保留期时,卡片上会提示「超出统计保留期」,那一段没有数。
- 规模:图和列表都不读事件日志。事件写入时每条只在所在的那一分钟上加几个数,每小时整小时写一次库;1000 个部署每小时各切换 10 次、带一天的事件与一周的小时汇总时,24 小时与 1 周的读取都在几百毫秒以内,结果缓存约 30 秒。
接口为 GET /api/v1/scheduling/activity,见调度活动接口:
curl --fail-with-body -sS "$API_URL/api/v1/scheduling/activity?window=7d" -H "Authorization: Bearer $TOKEN"定时计划
每个部署可以有若干条计划,每条是“在周几的某个时刻执行一个动作”。在部署详情的调度策略卡片里点编辑,在定时计划页签添加:
- 选择动作:休眠(须选 L1 或 L2)、唤醒,或副本数(1–32,仅单机部署和自动放置的多机、PD 部署;PD 部署还要选角色,见下文)。
- 勾选周几,填写时间(HH:MM)。
- 时区默认是 server 所在时区,每条可以改成别的 IANA 时区(如
Asia/Shanghai)。 - 保存。可以随时停用、修改或删除一条计划;列表里显示下一次执行时间。
能添加哪些动作由服务端按部署告知(部署详情里的 schedule_capabilities):引擎不能休眠的部署(没打开可休眠,或引擎不支持休眠)不提供休眠和唤醒,部署详情里也不显示休眠、唤醒控件;副本数的可选范围(单机部署 1–max_replicas,PD 部署按角色,模式允许为空的角色可到 0)和不能定副本数的原因(例如手动放置)同样来自服务端,界面不自己推断。
API 在 /api/v1/deployments/{id}/schedule 下:
# 每个工作日 22:00(东八区)休眠到 L2
curl --fail-with-body -sS -X POST \
"$API_URL/api/v1/deployments/7/schedule" \
-H "Authorization: Bearer $TOKEN" -H 'Content-Type: application/json' \
-d '{"action":"sleep","weekdays":[1,2,3,4,5],"time":"22:00","timezone":"Asia/Shanghai","sleep_level":2}'
# 每个工作日 08:30 唤醒
curl --fail-with-body -sS -X POST \
"$API_URL/api/v1/deployments/7/schedule" \
-H "Authorization: Bearer $TOKEN" -H 'Content-Type: application/json' \
-d '{"action":"wake","weekdays":[1,2,3,4,5],"time":"08:30","timezone":"Asia/Shanghai"}'创建返回 201 和这条计划:
{"id":3,"action":"sleep","weekdays":[1,2,3,4,5],"time":"22:00","timezone":"Asia/Shanghai","sleep_level":2,"enabled":true,"next_at":"2026-10-26T14:00:00Z"}| 路由 | 说明 |
|---|---|
GET /deployments/{id}/schedule | 列出,{"items":[…],"total":n} |
POST /deployments/{id}/schedule | 新建,201 |
PUT /deployments/{id}/schedule/{sid} | 整条替换,200;请求体与新建相同 |
DELETE /deployments/{id}/schedule/{sid} | 删除,204 |
请求字段:action(sleep / wake / replicas)、weekdays(0 为周日到 6 为周六,至少一个、不重复)、time(HH:MM)、timezone(空字符串用 server 时区)、sleep_level(只用于 sleep,必填)、replicas(只用于 replicas,必填)、role(只用于 replicas:PD 部署必填,其他部署不接受)、enabled(默认 true)。
到点时怎么执行
- 每个时间点只执行一次。评估器每 10 秒看一次,某条计划最新的一个时间点晚于它上次处理的时间点就执行。
- 补执行:server 停机错过的时间点,启动后只补最新的一次,并且这一次不能早于 12 小时;更早的只标记为已处理,不执行。
- 手动操作不会被反复覆盖:计划只在时间点上动一次,之后你再手动唤醒或休眠,计划不会在下一轮把它改回去。
- 新建或修改的计划从它的下一个时间点起生效,不追溯过去的时间点。
- 同一个部署有两条计划同时到期(server 停机跨过了两个时间点)时,先执行较早的,较新的最后执行并留下效果。
- 时区 server 不认识的计划不会执行,也没有下一次执行时间:新建和修改时 server 不认识的时区会被拒绝(
SCHEDULE_TIMEZONE_UNKNOWN),所以只会发生在 server 之后丢了这个时区数据的情况;这样的计划接口里不给next_at,评估器也不执行,两边一致,不会悄悄改按 server 时区跑。 - 动作失败(部署不可休眠、放不下等)时,时间线记
SCHEDULE_ACTION_FAILED,该时间点也算已处理,不会每个 tick 重复尝试。 - 定时唤醒放不下时,放得下的先醒,其余进入唤醒等位(时间线
WAKE_WAITING),不会直接失败。
创建时的校验
| 情形 | 响应 |
|---|---|
缺字段、周几越界或重复、时间格式不对、sleep 没给级别、replicas 不在范围内(1–32;PD 的可为空角色为 0–32) | 400 SCHEDULE_INVALID,params.field、params.reason 说明哪里错 |
PD 部署的 replicas 计划没给 role 或给了模式里没有的角色;非 PD 部署给了 role;role 出现在 sleep / wake 上 | 400 SCHEDULE_INVALID,params.field 为 role(PD 部署的响应另带 params.roles,列出可选角色) |
| 时区 server 不认识 | 400 SCHEDULE_TIMEZONE_UNKNOWN,params.timezone |
| 对手动放置的多机或 PD 部署定副本数 | 400 SCHEDULE_REPLICAS_MANUAL_PLACEMENT |
部署没打开可休眠 / 引擎不支持休眠(sleep、wake 动作) | 400 SLEEP_NOT_ENABLED / SLEEP_ENGINE_UNSUPPORTED |
多机部署的定时副本数与 PUT /api/v1/deployments/{id}/replicas 的“按副本数增减”走同一条路径:增加时由服务端按放置策略为新副本挑节点(规则同创建时挑节点),减少时去掉最后加入的副本;放不下时 SCHEDULE_ACTION_FAILED 的 reason_code 为 UNIT_PLACEMENT_NONE。手动放置的多机部署逐个副本列节点,增加副本得有人指定节点,所以不支持。
PD 部署的定时副本数按角色定:计划里的 role 是模式里的角色(如 prefill、decode),replicas 是这个角色的实例数,别的角色不动。到点时与 PUT /api/v1/deployments/{id}/pd 走同一条路径:增加时服务端在已放置的单元旁为新单元挑节点(同自动放置 PD 的创建),减少时去掉最后加入的单元;放不下时 SCHEDULE_ACTION_FAILED 的 reason_code 为 UNIT_PLACEMENT_NONE,别的失败(如某角色的单元跨多个节点而新单元只有一个节点)沿用 PD 更新自己的错误码和 reason。角色的下限也一样:模式允许为空的角色(如 vllm-nixl 的 prefill)可以定到 0,别的角色最少 1,所以建计划时就拒绝低于下限的数字;decode 定到 0 在建计划时 400。部署手动放置时同样拒绝(SCHEDULE_REPLICAS_MANUAL_PLACEMENT)。
计划写好之后部署被切换成手动放置,到点时这条计划失败:时间线记 SCHEDULE_ACTION_FAILED(reason_code 为 SCHEDULE_REPLICAS_MANUAL_PLACEMENT),计划本身保留,切回自动放置后下一个时间点照常执行。
唤醒等位与让位唤醒
唤醒被 WAKE_INSUFFICIENT_GPU_MEMORY 拒绝时,界面给两个选择,对应 ?wait=true 与 ?yield=true,用法和返回值见操作 sleep / wake。要点:
- 等位只拿现成的空位,不会让任何人让出;资源被释放后,服务端通常在 10 秒内自动唤醒,等满 30 分钟放弃,时间线记
WAKE_WAIT_TIMEOUT。 - 让位先让占用者休眠;占用者不能休眠时整个请求 409
WAKE_YIELD_BLOCKED,什么都不改。 - 等位的放弃时限由服务端给出,部署详情的
wake_wait_limit_sec(秒)就是它,界面的提示按这个数写。 - 部署详情在等位期间显示等位横幅和起点(
wake_waiting_since),可点取消等位,对应DELETE /deployments/{id}/wake-waiting。等位起点保存在数据库,server 重启后继续等。 - 卡被平台外的进程占着时,等位和让位都不会生效:唤醒直接 409
WAKE_GPU_HELD_OUTSIDE。
出让策略
一个部署怎样与共用同一批卡的其他部署相处,由一个出让策略加几个只在适用时才出现的参数决定。出让策略是唯一要选的东西。概念与规则见出让策略,设计取舍见 ADR 0059。
没有别的部署等它的卡时,部署一直醒着,不会自己睡下。要在固定时间睡下,用上面的定时计划。
策略与参数
四个出让策略按等级从高到低排列,等级只决定谁可以抢谁:
| 出让策略 | 适合 | 含义 |
|---|---|---|
不自动出让(never,默认) | 常驻服务 | 从不把卡让给别的部署 |
闲置自动出让(idle) | 在线服务 | 别的部署在等它的卡,且它闲置(没有进行中或挂起的请求)满闲置时间才让;忙着时从不让 |
按时自动出让(timeslice) | 多个模型分时共用 | 闲置满闲置时间就让;更高等级的部署来了立即让,忙着也让;与同为按时自动出让的部署轮流,每轮最长服务时间 |
随时出让(anytime) | 批处理与离线任务 | 闲置满闲置时间就让;更高等级的部署来了立即让,忙着也让;与同为随时出让的部署之间只在闲置时互让 |
参数只在适用时出现在界面里;API 接受不适用的参数、忽略它们,响应里也不返回。缺省的参数取所选策略的默认值:
| 参数 | 取值 | 适用于 | 默认值(闲置 / 按时 / 随时) |
|---|---|---|---|
idle_sec 闲置时间 | 15–604800 秒;按时自动出让时不得超过 max_serve_sec | 除不自动出让外的三个 | 60 / 30 / 30 |
max_serve_sec 最长服务时间 | 30–86400 秒 | 按时自动出让 | — / 120 / — |
unfinished 出让时未完成请求的处理 | abort 立即中断;wait 等待完成,最多 unfinished_wait_sec(1–600 秒,默认 30)后中断剩下的 | 按时自动出让、随时出让 | — / wait / abort |
sleep_level 休眠级别 | auto(L1,主机内存放不下权重时退回 L2)、l1(严格 L1,放不下就拒绝)、l2 | 除不自动出让外的三个 | auto |
hold_max_sec 请求最长挂起时间 | 10–3600 秒 | 除不自动出让外的三个 | 300 / 600 / 3600 |
这些默认值、哪些参数适用于哪个策略、各参数的范围都由 GET /api/v1/scheduling/yield-policies 给出(见下),界面据此显示,不另存一份。
- 闲置时间:多久没有用户请求算闲置。平台自发的健康检查不算用户请求。闲置满这么久,有别的部署在等这批卡,它就让。
- 最长服务时间:两个按时自动出让的部署同在一批卡上、一个在等另一个的卡时,占卡的一方这一次醒来服务满最长服务时间就让。
- 休眠级别适用于平台替这个部署选的每一次休眠(让卡);运维手动下的和定时计划里的休眠按各自指定的级别,不受它影响。
auto只有一个意思:先 L1,这个节点的主机内存放不下权重时退回 L2。运维让位唤醒的yield_level=1(默认)与出让策略的auto是同一条规则;只有出让策略的l1和运维直接下的 L1 休眠(sleep?level=1)是严格 L1,放不下就拒绝。 unfinished的wait:出让时网关先停止给这个部署接新请求(新请求挂起),等进行中的请求结束再休眠,最多等unfinished_wait_sec秒,到时剩下的请求被中断。等待没有“不限时”的选项:一个很长的请求最多拖住等卡者 600 秒。- 两个闲置自动出让的部署可以共用一张卡:两边都忙时谁都不让,一方的请求被网关挂起,直到对方闲置,或挂到自己的
hold_max_sec后得到 503。设置时响应的idle_neighbours列出这样的邻居,界面会提示;要让它们轮流,改用按时自动出让。 - 规则在让卡到期的那一刻执行,而不是等周期性的评估,所以 15 秒、30 秒这样的阈值能准到约一秒。
设置
在部署详情的调度策略卡片里点编辑,在出让策略页签设置:
- 出让策略下拉选四种策略;选定后,下面填入该策略的默认参数。
- 再往下只显示对当前策略适用的参数。
- 保存。
创建部署时(打开可休眠后)也可以选出让策略,其余参数取默认值,要改在创建后编辑。创建表单把选定的策略原样发给服务端,由服务端按「可休眠、单机、非 PD」检查并在不满足时拒绝(同下表);部署详情的 yield_policy_eligible 和评估响应里按草稿算出的 yield_policy_eligible 把这个结果提前告诉界面(ok,不行时 reason 为 SLEEP_NOT_ENABLED、SLEEP_ENGINE_UNSUPPORTED 或 YIELD_POLICY_SHAPE),界面据此禁用不能选的策略并显示原因。
API 只有一个入口 PUT /api/v1/deployments/{id}/yield-policy。请求体带 policy 加任意参数,缺的参数取这个策略的默认值。下面第一个请求设为闲置自动出让并全取默认值,第二个设为按时自动出让、轮流服务 300 秒、出让时最多等 60 秒:
curl --fail-with-body -sS -X PUT \
"$API_URL/api/v1/deployments/7/yield-policy" \
-H "Authorization: Bearer $TOKEN" -H 'Content-Type: application/json' \
-d '{"policy":"idle"}'
curl --fail-with-body -sS -X PUT \
"$API_URL/api/v1/deployments/7/yield-policy" \
-H "Authorization: Bearer $TOKEN" -H 'Content-Type: application/json' \
-d '{"policy":"timeslice","max_serve_sec":300,"unfinished":"wait","unfinished_wait_sec":60}'成功返回 200 和存下的策略,不适用的参数不出现,第一个请求返回:
{"policy":"idle","idle_sec":60,"sleep_level":"auto","hold_max_sec":300}响应可以原样当请求体发回。部署详情的 yield_policy 字段给出当前设置(同样的形状)。设为闲置自动出让、而卡上已有另一个闲置自动出让的部署时,响应多一个 idle_neighbours(对方的部署名),仍是 200。
| 情形 | 响应 |
|---|---|
请求体是 {},或只带参数不带 policy | 400 YIELD_POLICY_INVALID,params 为 {"field":"policy","reason":"required"} |
| 取值不在允许的几个之中,或数值越界(含闲置时间超过最长服务时间) | 400 YIELD_POLICY_INVALID,params.field 是字段,params.reason 为 invalid_value 或 out_of_range(越界时另带 minimum、maximum) |
| 部署没打开可休眠 / 引擎不支持休眠,而策略不是不自动出让 | 400 SLEEP_NOT_ENABLED / SLEEP_ENGINE_UNSUPPORTED |
| 多机或 PD 部署设了不自动出让以外的策略 | 400 YIELD_POLICY_SHAPE |
出让策略的字典是单独的接口,供客户端编辑时使用:
curl --fail-with-body -sS "$API_URL/api/v1/scheduling/yield-policies" \
-H "Authorization: Bearer $TOKEN"响应的 policies 按等级从高到低列出四个策略,每个带 defaults(选它时填入的值)和 applies(可能适用的参数名);applies_when 说明哪些参数只在另一个参数取某些值时才适用,目前是 {"unfinished_wait_sec":{"unfinished":["wait"]}},即等待时长只在 unfinished 为 wait 时有意义,编辑器读它,不自己写这条规则;bounds 是各数值参数的范围,at_most 指出不得超过的另一个参数;sleep_levels 与 unfinished 是两个枚举参数的取值。详见 API 参考。
怎样选出让策略
典型用法是实时 + 批处理:实时模型设为闲置自动出让,批处理模型设为随时出让,部署在同一批卡上。批处理有请求在等(批处理任务被中断后会重试)而实时闲置满它的闲置时间,实时让卡;实时来了请求,批处理立即让卡,请求在网关等实时醒来(L1 切换约 2.5 秒)。批处理任务怎样指向随时出让的部署见运行批处理任务。
- 几个模型轮流用一批卡:都设为按时自动出让。谁有请求谁醒;占卡的一方服务满最长服务时间,或闲置满闲置时间,就让给等着的那个。
- 核心服务常驻:不自动出让,其他部署不会从它手里拿卡。
- 只在有人用的时候占卡:闲置自动出让;它闲置时别的部署可以拿走卡。
从不闲置的部署(例如一直有人调用)不会因为闲置让卡,所以两个闲置自动出让的部署同在一批卡上、都一直忙,谁也不让谁;这种情况选按时自动出让。
按需唤醒
平台自己让部署睡下时(让卡),请求到达时网关不回 503,而是挂起请求、唤醒部署,醒后放行:
- 挂起时长是部署的
hold_max_sec(没有这一项时按 2 分钟);超时返回 503,带Retry-After。每个部署最多挂起 256 个请求,超出的立即 503。 - server 正常停止(升级、重启)时,挂起中的请求立即返回 503,带
Retry-After: 10和消息the server is restarting; send the request again,重发给重启后的 server 会再次挂起;SIGKILL 时连接直接断开。按时自动出让的占卡者重启后按实例事件接着算这一轮,闲置时间从重启时算起。 - 定时计划下的休眠,以及你手动下、没勾选有请求时自动唤醒的休眠,是保持休眠:请求不唤醒,仍回 503。手动休眠的这一项默认按部署的出让策略:不自动出让的默认保持,其他出让策略默认由请求唤醒,部署照旧按规则轮流用卡(部署详情的
sleep_wakes_on_request)。已经保持的部署可以在详情里点允许请求唤醒(POST /api/v1/deployments/{id}/wake-on-request),解除保持而不唤醒。保持按实例算(实例的sleep_held):只保持这次休眠点名的实例,同一部署里平台让卡睡下的其他实例请求照样唤醒;部署详情的sleep_hold为all(sleep_held为true)时请求唤醒不了任何一个,为some时只唤醒没被保持的。唤醒解除它唤醒的实例的保持,包括一次等位中的唤醒:你点唤醒并选了等位(?wait=true,应答 202waiting)时,保持就解除了,部署是要醒的,之后到达的请求由网关挂起等这次唤醒,驻留仲裁也可以按各自的出让策略为它腾地方,而不是回 503;以前保持要到唤醒落地才解除。保持休眠也不为自己留卡:请求既然唤醒不了它,它的卡对任何新部署开放,之后你或定时计划的唤醒要么等位(?wait=true)、要么让占卡者休眠(?yield=true),见操作 sleep / wake。 - 放不下时按出让策略判断占卡者是否让卡;不该让时请求一直等到挂起时长用完。
- 按时自动出让、随时出让的部署让卡时,进行中的请求按
unfinished处理:abort立即中断;wait先停止接新请求(新请求挂起),等进行中的请求结束,到unfinished_wait_sec时仍有请求就中断。被中断的非流式请求由网关挂起,等部署恢复后重放(最多 3 次),客户端只拿到跑完的那次结果;流式请求已经开始输出,无法重放,客户端看到 HTTP 200、finish_reason为"abort"、内容被截断,需要自行重试。平台托管的批处理任务会自动重试被中断的请求。 - 被让卡的部署按
sleep_level休眠(auto下先 L1,可休眠实例启动时已做过一次 L1 预热,钉住的主机内存早已占着;主机放不下时退回 L2);按时自动出让、随时出让的部署在卡没人占时自动恢复,不会让醒着的部署为恢复让卡。server 重启后,待恢复的部署从事件日志读回,卡空出来时照样自动恢复;之后运维又对它下过休眠或唤醒的不读回。
新部署怎样放到共用的卡上
创建新部署(或为它加副本)时,它要的卡可能被别的部署醒着占着。出让策略不是不自动出让、且占卡的部署策略也不是不自动出让时,新副本不会停在“放不下”,而是在等待放置里显示 waiting_for_yield,等占卡者按出让策略让卡:
等待:batch 立即让出 GPU;shared 闲置 30 秒或本轮服务满 2 分钟后让出 GPU。之后在 gpu-1 上放置副本。
原因的参数是 node、holders(每个占卡部署一项:deployment、at_once,不是立即让时还有 idle_sec,按时自动出让的还有 max_serve_sec,即它按什么条件把卡让给这个新部署)和 instances。占卡者睡下后副本自动放置、启动,不需要手动操作。要点:
- 部署表单的预览(
POST /api/v1/evaluate)说的和控制器一样:放不下、但占卡者让卡就能放下时,预览的plan和自动放置逐节点的candidates[].reason同样是waiting_for_yield;只因休眠者留着卡放不下时是reserved_for_sleepers,不会笼统写成放不下。 - 占卡者按同一条让卡规则休眠,用的是新部署的出让策略:新部署等级更高时,按时自动出让、随时出让的占卡者立即让;否则闲置满它的闲置时间才让;同为按时自动出让时,在这一轮服务满最长服务时间时让。
- 新部署是不自动出让时不等任何人,卡必须空闲;不自动出让的占卡者从不被要求让卡,新副本仍按放不下等待。
- 控制器每 5 秒重新算一次。节点池里的副本只有在没有节点能直接放下时,才选需要等卡的节点。已经在等某个节点上的占卡者让卡时,每次重新算先只看那个节点:它的占卡者睡下后仍放得下,就只重算这一个节点;只有它即使占卡者让卡也放不下了,才继续在池里的其他节点上找。
- 占卡者让卡期间,驻留仲裁每 250 毫秒看一次让卡有没有落地,最多两分钟;这时它只看为之让卡的那个部署的等位唤醒,不再逐个检查全集群的等位唤醒;占卡者一睡下,对方的唤醒仍在一次检查内落地。
- 占卡者让卡后,在新副本放置、启动期间(最多 10 分钟)不会把卡拿回去;新副本的一轮服务和闲置时间从它开始服务算起。
- 这份等待只在 server 内存里,重启后控制器第一轮重新记下。
出让策略让新部署等不到卡时,预览说出是谁占着卡。 部署表单的预览里,节点放不下、但占卡的部署都睡下就能放下,而出让策略又让新部署等不到它们时,预览的 plan 和自动放置的 candidates[].reason 写明节点和卡、占卡的部署与各自的出让策略,以及该改什么:
does_not_wait_for_yield:新部署不自动出让,不等任何占卡者,而占卡的部署里有能共卡的(新部署改为能共卡的策略后它们就会让卡)。界面写成“gpu3 的 GPU 0 被 qwen3-asr(闲置自动出让)占用;本部署不自动出让,不会等占卡的部署让卡。为本部署开启休眠并选择能共卡的出让策略,即可等 qwen3-asr 按出让策略让卡。”held_by_non_yielding:新部署能共卡,但占卡的部署里有不自动出让的,它不会把卡让给新部署。界面写成“gpu3 的 GPU 0, 1 被 shared(按时自动出让)、batch(不自动出让)占用;batch 不自动出让,不会把卡让给本部署。可以换一张卡,或为 batch 开启休眠并选择能共卡的出让策略。 其余占卡的部署会让卡:shared 闲置 30 秒或本轮服务满 2 分钟后让出 GPU。”
两者的参数都是 node、gpus(它本来会用的卡)、holders 和 blockers,每项都有 deployment 与出让策略 policy:blockers 是不自动出让的占卡部署;holders 是其余的,在 held_by_non_yielding 里还带着与 waiting_for_yield 相同的让卡条件(at_once,或 idle_sec 与按时自动出让的 max_serve_sec)。即使占卡的部署都睡下也放不下时,仍是调度器原来的原因;新部署和占卡者都不自动出让时就是卡被占用,说法也不变。这两个原因只出现在预览里,控制器给真实副本记录原因时不做这次额外试算。
休眠中的部署为请求唤醒留着卡。 一个按出让策略共卡的部署睡着时,如果请求能唤醒它(部署可休眠,且这个实例的休眠不是上面说的保持休眠),不共卡的新部署(不自动出让)不会被放到它的卡上,免得请求来了它醒不回来。新部署只因为这个原因放不下时,等待放置里的原因是 reserved_for_sleepers,参数是 node、gpus(它本来会用的卡)和 sleepers(每项 deployment、policy,即休眠者的出让策略)。界面写成:
gpu3 的 GPU 0 为休眠中的 qwen3-asr(闲置自动出让)保留,供请求到达时唤醒;不自动出让的部署不会放到这些卡上。可以换一张卡,为本部署开启休眠并选择能共卡的出让策略,或手动休眠占卡的部署(手动休眠的部署不保留卡)。
按提示处理即可:换一张卡;为新部署开启可休眠并选一个能共卡的出让策略(它就成了等卡方,走上面的 waiting_for_yield);或者手动休眠占卡的部署并选保持休眠(不勾选有请求时自动唤醒)。保持休眠请求不会唤醒它,所以它不保留卡,新部署可以直接放上去;选了由请求唤醒的手动休眠仍为它留卡。
调度记录
调度分析页面底部的调度记录列出全集群的调度事件,最新优先:
| 列 | 内容 |
|---|---|
| 时间 | 事件发生的时间 |
| 部署 | 部署名可点击,打开该部署的详情;已删除的部署标注“已删除” |
| 节点 | 事件涉及的节点,可能有多个;节点名可点击,在本页打开该节点的抽屉。节点已不存在、或旧事件只记了节点名时显示名称、不可点击;判断不出节点时显示 — |
| 动作 | 事件码对应的动作名,如自动休眠、副本自动重建、调整副本数 |
| 原因与详情 | 与部署时间线同样的措辞:从哪个节点到哪个节点、第几次尝试、触发它的计划、副本数变化等 |
| 类别 | 自动:平台按设置或计划自己动手;故障:出了问题,平台在应对或已放弃;手动:运维下的指令 |
| 操作人 | 手动指令是谁下的;自动和故障事件为空 |
记录给别的部署让出了卡(让卡)时,会同时写出让给的那个部署,同样可点击打开其详情;对方已被删除时显示“已删除”。
可按类别、部署(输入名称搜索)和时间范围(平台通用的时间选择器,默认近 24 小时;快捷范围为 15 分钟、1 小时、6 小时、1 天、1 周,或自定义起止时间)筛选,较早 / 较新翻页,每页 20 条。接口为 GET /api/v1/scheduling/history,见调度记录接口。
记录里有哪些事件:
- 自动:定时计划、让卡、唤醒等位和让位唤醒的动作(见时间线事件),自动放置副本,以及排空中的节点上副本被迁走。
- 故障:副本失败后被自动重建(
REPLICA_REBUILT)、重试预算用尽被放弃、部署放不下、滚动重启停在放弃的副本上、节点失联后副本被重新调度。 - 手动:改副本数、重启部署或副本、重试副本,以及下达休眠和唤醒(
SLEEP_ORDERED、WAKE_ORDERED)。手动事件记录下指令的用户名。
调度记录只收这些调度事件;实例状态变化、配置修改等不在其中,仍在各部署的时间线里。
「节点」列按以下顺序判断事件涉及的节点:先看事件参数里记下的节点(node_uuids,或较早事件的 node、nodes),再看事件提到的实例(instance、instances)现在在哪个节点上,都没有就留空。实例会被移除,所以事件写入时就把节点记进参数,见时间线事件。
首次放置节点
单机部署增加副本时,可以指定新副本先在哪些节点启动,见部署模型中的说明。这与定时副本数配合使用:计划只改数量,放哪台节点由候选池决定;自动放置的多机部署由服务端挑节点。
时间线事件
自动动作写进部署时间线(事件类型 automation,也出现在调度记录里):
| code | 含义 | 主要参数 |
|---|---|---|
AUTO_SLEEP | 定时计划或让卡把部署休眠了 | trigger(schedule 定时计划 / preempt 让卡)、schedule_id、scheduled_at、level(平台实际选的级别,1 或 2);让卡时另有 reason(idle 闲置满闲置时间 / rank 对方等级更高 / turn 按时自动出让轮到对方)、for_deployment(为哪个部署让卡)、abort(是否中断了进行中的请求)、instances |
AUTO_WAKE | 定时计划、唤醒等位、请求或恢复唤醒了实例 | trigger(schedule / wake_waiting / request 有请求在等 / resume 让卡后在卡没人占时拿回)、schedule_id、instances |
AUTO_SCALE | 定时计划改了副本数 | trigger、schedule_id、replicas、role(PD) |
WAKE_WAITING | 一次唤醒放不下,进入等位 | trigger(schedule / operator)、instances、yielded |
WAKE_WAIT_TIMEOUT | 等位满 30 分钟放弃 | trigger、instances、waited_sec |
SCHEDULE_ACTION_FAILED | 自动动作没成功,不自动重试 | trigger、action、reason、reason_code、schedule_id、level、replicas、role(PD) |
YIELDED_FOR_WAKE | 记在被让位休眠的部署上:为谁让位、休眠到几级;调度记录据 for_deployment 链接到被让位的部署 | deployment、for_deployment、instances、level |
运维通过接口下的指令也写进部署时间线(事件类型 schedule),并带 actor(用户名):
| code | 含义 | 主要参数 |
|---|---|---|
REPLICAS_CHANGED | 副本数被改了 | from、to、role(PD)、actor |
SLEEP_ORDERED | 下达休眠 | level、mode、scope、role、instances、actor |
WAKE_ORDERED | 唤醒让实例开始唤醒 | instances、actor |
控制器在失败的副本被自动重建时记 REPLICA_REBUILT(参数 replica、role、attempt、reason、node、node_uuids),见调度记录接口。
调度记录收录的事件在写入时还带 node_uuids:事件涉及的节点 UUID 列表,供调度记录的「节点」列使用。提到实例的事件(instance、instances,或挂在实例上的事件,如 AUTO_SLEEP、AUTO_WAKE、YIELDED_FOR_WAKE、WAKE_WAITING、WAKE_WAIT_TIMEOUT、SLEEP_ORDERED、WAKE_ORDERED、REPLICA_RESTARTED、DEPLOYMENT_RESTARTED、UNIT_RETRY_EXHAUSTED)记这些实例当时所在的节点;控制器的节点事件记它涉及的节点:REPLICA_REBUILT 记新一次尝试的 leader 所在节点,NODE_REPLACED、NODE_REPLACE_REVERTED 记迁出与迁入的节点,NODE_REPLACE_NO_CANDIDATE 记失联的节点,UNIT_PLACED、NODE_DRAIN_MOVED 记前后两次放置的全部节点,UNIT_RETRIED、DEPLOYMENT_ROLLING_STALLED 记失败尝试所在的节点。DEPLOYMENT_UNSCHEDULABLE 已有的 node(节点 UUID)不再重复。对整个部署下的指令(定时休眠、改副本数、滚动重启)不针对具体节点,不带这个参数。
节点失联重调度与驱逐迁移的事件(NODE_REPLACED 等)见节点失联重调度。
限制
- 只有出让策略允许时才让卡:不自动出让的部署从不为别人休眠;让位唤醒仍是运维点名、对方可休眠才会发生。
- 没有按负载的自动扩缩容:副本数只在定时计划到点时变。
- 不自动出让以外的策略只用于单机部署;多机与 PD 部署卡被占着时仍按放不下等待。
- 定时副本数只用于单机部署和自动放置的多机、PD 部署,不支持手动放置的多机或 PD 部署;一条 PD 计划只改一个角色,要同时改两个角色就建两条。
- 评估器在 server 进程内运行;server 停机期间没有任何自动动作,恢复后只补 12 小时内最新的一次计划。
这篇文档有帮助吗?