操作指南
节点失联重调度
本文目录
本文说明一台节点离线后,平台怎样把它上面的副本重调度到别的节点:单机副本、多机副本和 PD 副本分别怎么处理,怎样调整等待时间,以及怎样让增加的单机副本先放到指定节点。
适用场景:节点宕机、断网或长时间维护,希望服务自动在其他节点恢复,不必手动改副本列表。计划内维护用驱逐。
前置条件:
- 集群里有其他在线、可调度的节点,满足部署的节点条件,且有空闲的卡。
- 多机与 PD 副本重调度要求替换节点和原节点同计算网络、同 GPU 厂商和架构,见怎样选替换节点。
什么时候重调度
节点离线时间(从 server 最后一次见到它的 agent 起算)达到部署的重调度等待时间,就视为失联。默认 10 分钟,每个部署可调,0 表示从不重调度(界面里显示「关闭」)。等待期内什么也不动:节点很快回来时副本照常继续。server 自己停机的时间不算:server 重启后,离线时间最早从它启动时起算,给 agent 留出重连的机会;多机组的重连宽限同样如此。
在部署详情的调度策略卡片里点编辑,在节点失联重调度页签修改(卡片折叠时的摘要一行显示当前的等待时间),或用 API:
curl --fail-with-body -sS -X PUT \
"$API_URL/api/v1/deployments/7/node-replacement" \
-H "Authorization: Bearer $TOKEN" -H 'Content-Type: application/json' \
-d '{"after_sec":600}'成功返回 200 和同样的 {"after_sec":600};部署详情的 node_replacement 字段给出当前值。after_sec 为 0 或 60 到 604800 秒(7 天),越界返回 400 NODE_REPLACEMENT_INVALID(params.minimum、params.maximum)。
节点失联重调度默认开启(新建和已有的部署都是 10 分钟),不要求部署显式声明计算网络,走管理网的部署也可以换。
为什么默认开启:节点失联后,副本不重调度就只能原地重试到耗尽重试次数,服务一直降级;重调度按你手动改副本列表的同一套校验改写放置,每一步都能在时间线上对应到一个你本可以手动完成的动作,所以比靠失败重试更可预期。为什么新一代跑起来后不切回:切回会让刚恢复的服务再中断一次。撤回的记录只放在 server 内存里,不为这些短期状态新增持久化数据,代价是 server 重启后保留已做的替换、不再撤回。
三种副本怎么重调度
| 副本 | 处理 |
|---|---|
| 单机副本 | 失联节点上的实例行进入 removing 等待,候选池在别的节点补位;节点重新连上后才下发移除、清理遗留容器,删除这台节点时这些行随之删除。副本没有失败,不消耗重试次数 |
| 多机副本 | 只换失联的那个 rank,其余 rank 的节点不动;换不出时才整组重新选节点。新放置的副本重新获得完整重试次数 |
| PD 副本 | 每个 P、每个 D 是一个副本,处理与多机相同:只换失联的 rank,放置里的该角色副本随之改写 |
重调度改写放置的方式,与你在调整副本或 PD 角色里手动改节点完全相同,走同一套校验。每次重调度都写部署时间线 NODE_REPLACED(原节点、新节点、等待时间)。
没有合适的替换节点时,副本原样留着,时间线每 10 分钟记一次 NODE_REPLACE_NO_CANDIDATE,并持续重试,有节点空出来就重调度。
钉在原节点上的单机副本不换:部署的节点条件只允许那一台节点时,别处没有地方可去,副本留着,节点回来即恢复。
怎样选替换节点
多机与 PD 副本的替换节点必须同时满足:
- 在线、可调度(未停止调度或驱逐)、满足部署的节点条件。
- 与副本的其余 rank 在同一个计算网络上;其余 rank 走管理网时,替换节点也走管理网。
- GPU 厂商与架构和失联节点相同。
- 有足够的空闲卡放下这个 rank。
- 不是副本里已有的其他 rank 所在的节点;普通多机副本的 leader 也不能和其他副本的 leader 在同一台节点。
- 按部署已保存的配置试算能放下(最多看最好的 3 台)。
满足条件的候选里,已经有该模型文件的节点优先。候选都没有模型时照样换,由新节点下载或复制。
加速器 RDMA 网络(昇腾)一律按有交换机处理,同网络、同卡号即可;不检查卡间连通测试。
节点在线但放不下:自动放置的重新挑选
节点失联重调度只处理离线的节点。节点在线、却放不下副本(卡被其他部署占了、被停止调度、不再满足节点条件)是另一件事,处理方式取决于部署的放置方式:
| 副本所在节点的状态 | 自动放置的多机与 PD 部署 | 手动放置的多机与 PD 部署 |
|---|---|---|
| 离线 | 按重调度等待时间重调度(上文,不变) | 同左 |
| 被驱逐 | 先起后切(下文,不变) | 同左 |
| 在线但放不下 | 副本要启动时,只把放不下的 rank 换到别的节点(UNIT_PLACED),其余 rank 不动;没有地方可去就保留节点继续等,每分钟再找一次 | 副本等待,原因写在 DEPLOYMENT_UNSCHEDULABLE;PD 钉住的卡被占时调度原因是 pinned_gpus_unavailable,列出占卡的部署 |
两者用同一套候选与试算,改写放置的方式也相同,区别只在触发:节点失联重调度由「离线超过等待时间」触发,自动放置的重新挑选由「副本要启动、而它的节点放不下」触发,没有等待时间,也不消耗重试次数。只在副本本来就没有实例时发生,不会打断正在服务的副本。单机副本不属于这里,它每次启动都由候选池重新选。切换放置方式、挑选规则与限制见多机推理和 PD 分离部署。
原节点回来了
- 替换后,新一代还没跑起来时原节点恢复在线:放置改回原节点,时间线记
NODE_REPLACE_REVERTED。 - 新一代已经跑起来后原节点才回来:不会切回,副本留在新节点,原节点重新连上后,平台下发移除,清理它上面的遗留容器。
- 撤回的依据在 server 内存里,重启后从
NODE_REPLACED事件读回:替换后 server 重启,原节点在新副本跑起来前回来,照样撤回。读回只在三条都成立时进行:这个 rank 之后没有NODE_REPLACE_REVERTED,放置里它仍在替换去的节点上,这个部署自替换以来没有实例在那个节点上跑起来过;拿不准的一律不读回,保留已做的替换。
驱逐时多机与 PD 的副本
驱逐节点时,多机与 PD 副本也会迁走,规则和单机副本一致:先起后切。
- 有 rank 在被驱逐节点上的副本,先在别的节点起一个替代(选节点规则同上),每个部署一次一个。
- 替代副本运行后,放置才改写到它身上,旧副本进入排空并退役,时间线记
NODE_DRAIN_MOVED。服务副本数不低于驱逐前。 - 没有节点可去时,旧副本留在原处继续服务,约每分钟重试一次。
普通多机副本的 leader 占着部署的 master 端口,所以它的替代副本整组重新选节点,且 leader 不放在原 leader 所在的节点。PD 副本只迁被驱逐节点上的那些 rank。
强制驱逐不变:不等替代,立即撤下节点上的全部副本,不计入重试次数。
单机扩容时指定首次放置节点
增加单机副本时,可以指定新副本先在哪些节点启动。在调整副本里选择首次放置节点,或在 PUT /api/v1/deployments/{id}/replicas 里加 place_on:
curl --fail-with-body -sS -X PUT \
"$API_URL/api/v1/deployments/7/replicas" \
-H "Authorization: Bearer $TOKEN" -H 'Content-Type: application/json' \
-d '{"replicas":3,"place_on":["<节点 UUID>","<节点 UUID>"]}'- 节点个数不能超过本次增加的副本数,否则 400
REPLICAS_PLACE_ON_TOO_MANY(params.count、params.maximum)。同一节点可以写两次,表示放两个。 - 每个节点须已知、在线、可调度、满足部署的节点条件,并且现在放得下一个副本(与候选池同样的试算);不满足返回 409
REPLICAS_PLACE_ON_REFUSED,params.reason为unknown、offline、cordoned、requirements或no_room,后两者带detail或code/params说明具体原因。 - 手动放置的多机部署带
place_on返回 400REPLICAS_BODY_SHAPE,它用units直接列节点;自动放置的多机部署也支持place_on,但指的是新副本里各 rank 的节点,规则见多机推理。 - 这只管首次放置:之后这些副本与别的副本一样,参与候选池补位和节点失联重调度。提示保存在 server 内存里,server 重启后由候选池自己选节点。
时间线事件
| code | 含义 | 参数 |
|---|---|---|
NODE_REPLACED | 失联节点上的副本被重调度到别的节点 | from、to(单机副本无)、after_sec、unit、rank、role、instances |
NODE_REPLACE_REVERTED | 新一代跑起来前原节点回来,放置改回 | from、to、unit、rank、role |
NODE_REPLACE_NO_CANDIDATE | 没有可换的节点,最多每 10 分钟记一次 | nodes |
UNIT_PLACED | 自动放置的多机或 PD 副本启动前,在线却放不下的 rank 被换到别的节点 | unit、role、from、to(节点名,按 rank)、reason(节点停止调度、不满足节点条件,或调度器的拒绝码) |
NODE_DRAIN_MOVED | 驱逐时多机或 PD 副本切到了替代副本上 | unit、role |
限制
- 等待期内多机副本仍按原有规则处理:某个 rank 所在节点离线会让整组失败并重建,这期间的失败照常记录;重调度发生在等待时间到达之后。
- 卡间连通测试和昇腾直连布线不作为选节点的条件;跨交换机或 RDMA 不通的风险仍由你在创建时确认,手动创建的混架构部署只告警,不收紧。
- 重调度不改变模型、镜像或配置;新节点需要的模型和镜像按下载、缓存和节点间同步模型的规则获取。
- 首次放置提示只在 server 内存里,重启不保留;撤回的依据重启后从事件读回(见上)。
这篇文档有帮助吗?