跳转到正文

节点失联重调度

本文目录

本文说明一台节点离线后,平台怎样把它上面的副本重调度到别的节点:单机副本、多机副本和 PD 副本分别怎么处理,怎样调整等待时间,以及怎样让增加的单机副本先放到指定节点。

适用场景:节点宕机、断网或长时间维护,希望服务自动在其他节点恢复,不必手动改副本列表。计划内维护用驱逐。

前置条件:

  • 集群里有其他在线、可调度的节点,满足部署的节点条件,且有空闲的卡。
  • 多机与 PD 副本重调度要求替换节点和原节点同计算网络、同 GPU 厂商和架构,见怎样选替换节点。

什么时候重调度

节点离线时间(从 server 最后一次见到它的 agent 起算)达到部署的重调度等待时间,就视为失联。默认 10 分钟,每个部署可调,0 表示从不重调度(界面里显示「关闭」)。等待期内什么也不动:节点很快回来时副本照常继续。server 自己停机的时间不算:server 重启后,离线时间最早从它启动时起算,给 agent 留出重连的机会;多机组的重连宽限同样如此。

在部署详情的调度策略卡片里点编辑,在节点失联重调度页签修改(卡片折叠时的摘要一行显示当前的等待时间),或用 API:

curl --fail-with-body -sS -X PUT \
  "$API_URL/api/v1/deployments/7/node-replacement" \
  -H "Authorization: Bearer $TOKEN" -H 'Content-Type: application/json' \
  -d '{"after_sec":600}'

成功返回 200 和同样的 {"after_sec":600};部署详情的 node_replacement 字段给出当前值。after_sec 为 0 或 60 到 604800 秒(7 天),越界返回 400 NODE_REPLACEMENT_INVALID(params.minimum、params.maximum)。

节点失联重调度默认开启(新建和已有的部署都是 10 分钟),不要求部署显式声明计算网络,走管理网的部署也可以换。

为什么默认开启:节点失联后,副本不重调度就只能原地重试到耗尽重试次数,服务一直降级;重调度按你手动改副本列表的同一套校验改写放置,每一步都能在时间线上对应到一个你本可以手动完成的动作,所以比靠失败重试更可预期。为什么新一代跑起来后不切回:切回会让刚恢复的服务再中断一次。撤回的记录只放在 server 内存里,不为这些短期状态新增持久化数据,代价是 server 重启后保留已做的替换、不再撤回。

三种副本怎么重调度

副本处理
单机副本失联节点上的实例行进入 removing 等待,候选池在别的节点补位;节点重新连上后才下发移除、清理遗留容器,删除这台节点时这些行随之删除。副本没有失败,不消耗重试次数
多机副本只换失联的那个 rank,其余 rank 的节点不动;换不出时才整组重新选节点。新放置的副本重新获得完整重试次数
PD 副本每个 P、每个 D 是一个副本,处理与多机相同:只换失联的 rank,放置里的该角色副本随之改写

重调度改写放置的方式,与你在调整副本或 PD 角色里手动改节点完全相同,走同一套校验。每次重调度都写部署时间线 NODE_REPLACED(原节点、新节点、等待时间)。

没有合适的替换节点时,副本原样留着,时间线每 10 分钟记一次 NODE_REPLACE_NO_CANDIDATE,并持续重试,有节点空出来就重调度。

钉在原节点上的单机副本不换:部署的节点条件只允许那一台节点时,别处没有地方可去,副本留着,节点回来即恢复。

怎样选替换节点

多机与 PD 副本的替换节点必须同时满足:

  • 在线、可调度(未停止调度或驱逐)、满足部署的节点条件。
  • 与副本的其余 rank 在同一个计算网络上;其余 rank 走管理网时,替换节点也走管理网。
  • GPU 厂商与架构和失联节点相同。
  • 有足够的空闲卡放下这个 rank。
  • 不是副本里已有的其他 rank 所在的节点;普通多机副本的 leader 也不能和其他副本的 leader 在同一台节点。
  • 按部署已保存的配置试算能放下(最多看最好的 3 台)。

满足条件的候选里,已经有该模型文件的节点优先。候选都没有模型时照样换,由新节点下载或复制。

加速器 RDMA 网络(昇腾)一律按有交换机处理,同网络、同卡号即可;不检查卡间连通测试。

节点在线但放不下:自动放置的重新挑选

节点失联重调度只处理离线的节点。节点在线、却放不下副本(卡被其他部署占了、被停止调度、不再满足节点条件)是另一件事,处理方式取决于部署的放置方式:

副本所在节点的状态自动放置的多机与 PD 部署手动放置的多机与 PD 部署
离线按重调度等待时间重调度(上文,不变)同左
被驱逐先起后切(下文,不变)同左
在线但放不下副本要启动时,只把放不下的 rank 换到别的节点(UNIT_PLACED),其余 rank 不动;没有地方可去就保留节点继续等,每分钟再找一次副本等待,原因写在 DEPLOYMENT_UNSCHEDULABLE;PD 钉住的卡被占时调度原因是 pinned_gpus_unavailable,列出占卡的部署

两者用同一套候选与试算,改写放置的方式也相同,区别只在触发:节点失联重调度由「离线超过等待时间」触发,自动放置的重新挑选由「副本要启动、而它的节点放不下」触发,没有等待时间,也不消耗重试次数。只在副本本来就没有实例时发生,不会打断正在服务的副本。单机副本不属于这里,它每次启动都由候选池重新选。切换放置方式、挑选规则与限制见多机推理和 PD 分离部署。

原节点回来了

  • 替换后,新一代还没跑起来时原节点恢复在线:放置改回原节点,时间线记 NODE_REPLACE_REVERTED。
  • 新一代已经跑起来后原节点才回来:不会切回,副本留在新节点,原节点重新连上后,平台下发移除,清理它上面的遗留容器。
  • 撤回的依据在 server 内存里,重启后从 NODE_REPLACED 事件读回:替换后 server 重启,原节点在新副本跑起来前回来,照样撤回。读回只在三条都成立时进行:这个 rank 之后没有 NODE_REPLACE_REVERTED,放置里它仍在替换去的节点上,这个部署自替换以来没有实例在那个节点上跑起来过;拿不准的一律不读回,保留已做的替换。

驱逐时多机与 PD 的副本

驱逐节点时,多机与 PD 副本也会迁走,规则和单机副本一致:先起后切。

  1. 有 rank 在被驱逐节点上的副本,先在别的节点起一个替代(选节点规则同上),每个部署一次一个。
  2. 替代副本运行后,放置才改写到它身上,旧副本进入排空并退役,时间线记 NODE_DRAIN_MOVED。服务副本数不低于驱逐前。
  3. 没有节点可去时,旧副本留在原处继续服务,约每分钟重试一次。

普通多机副本的 leader 占着部署的 master 端口,所以它的替代副本整组重新选节点,且 leader 不放在原 leader 所在的节点。PD 副本只迁被驱逐节点上的那些 rank。

强制驱逐不变:不等替代,立即撤下节点上的全部副本,不计入重试次数。

单机扩容时指定首次放置节点

增加单机副本时,可以指定新副本先在哪些节点启动。在调整副本里选择首次放置节点,或在 PUT /api/v1/deployments/{id}/replicas 里加 place_on:

curl --fail-with-body -sS -X PUT \
  "$API_URL/api/v1/deployments/7/replicas" \
  -H "Authorization: Bearer $TOKEN" -H 'Content-Type: application/json' \
  -d '{"replicas":3,"place_on":["<节点 UUID>","<节点 UUID>"]}'
  • 节点个数不能超过本次增加的副本数,否则 400 REPLICAS_PLACE_ON_TOO_MANY(params.count、params.maximum)。同一节点可以写两次,表示放两个。
  • 每个节点须已知、在线、可调度、满足部署的节点条件,并且现在放得下一个副本(与候选池同样的试算);不满足返回 409 REPLICAS_PLACE_ON_REFUSED,params.reason 为 unknown、offline、cordoned、requirements 或 no_room,后两者带 detail 或 code / params 说明具体原因。
  • 手动放置的多机部署带 place_on 返回 400 REPLICAS_BODY_SHAPE,它用 units 直接列节点;自动放置的多机部署也支持 place_on,但指的是新副本里各 rank 的节点,规则见多机推理。
  • 这只管首次放置:之后这些副本与别的副本一样,参与候选池补位和节点失联重调度。提示保存在 server 内存里,server 重启后由候选池自己选节点。

时间线事件

code含义参数
NODE_REPLACED失联节点上的副本被重调度到别的节点from、to(单机副本无)、after_sec、unit、rank、role、instances
NODE_REPLACE_REVERTED新一代跑起来前原节点回来,放置改回from、to、unit、rank、role
NODE_REPLACE_NO_CANDIDATE没有可换的节点,最多每 10 分钟记一次nodes
UNIT_PLACED自动放置的多机或 PD 副本启动前,在线却放不下的 rank 被换到别的节点unit、role、from、to(节点名,按 rank)、reason(节点停止调度、不满足节点条件,或调度器的拒绝码)
NODE_DRAIN_MOVED驱逐时多机或 PD 副本切到了替代副本上unit、role

限制

  • 等待期内多机副本仍按原有规则处理:某个 rank 所在节点离线会让整组失败并重建,这期间的失败照常记录;重调度发生在等待时间到达之后。
  • 卡间连通测试和昇腾直连布线不作为选节点的条件;跨交换机或 RDMA 不通的风险仍由你在创建时确认,手动创建的混架构部署只告警,不收紧。
  • 重调度不改变模型、镜像或配置;新节点需要的模型和镜像按下载、缓存和节点间同步模型的规则获取。
  • 首次放置提示只在 server 内存里,重启不保留;撤回的依据重启后从事件读回(见上)。

这篇文档有帮助吗?