跳转到正文

调度与显存估算

本文目录

部署请求先经过可行性 filters(节点在线、framework、镜像/模型就位、dGPU 能力、能否承担服务流量), 再由 GPU planner 生成候选卡集合,最后由 scorer 按拓扑连接质量、GPU 打包紧凑度(tp 越小越优)和 显存贴合度(卡容量越贴近需求分越高)排序。被保留和被淘汰的每个候选都会进入 schedule_explain, 部署页和 API 展示同一份解释。

故障级加速卡不参与调度;告警级加速卡(如显存行待复位、厂商工具 Warning)可以调度,但 planner 先只用健康卡规划, 健康卡放不下时才把告警卡纳入,此时选中的方案带 degraded_gpus_used 原因并列出用到的卡。 健康级别的判定与取证见故障排查。

单机副本落在哪台节点

单机部署(非 PD、nnodes=1)的每个副本在每次启动时从候选池里挑节点,而不是创建时写死一台: 候选池是满足部署节点条件(node_requirements,含厂商;手动放置就是 gpuworks.ai/node 条件)且在线的节点。 控制器先用几次批量读(全部节点及其 GPU、各节点被醒着的实例占用的卡、模型文件分布)给整个池排序, 再只对排在最前的至多 8 台做完整试算(与部署页自动放置相同的预览:估算、调度器对该节点账本的判定、 模板的硬件约束),取第一台放得下的。池再大,一轮的代价也只是这几次试算:1000 台节点、3000 个实例时一轮约 80 ms。

排序先看「看上去还有空卡」(按醒着的实例占用估算,只决定先试谁,不决定放不放),再看放置策略: spread(默认)先选本部署副本最少的节点,binpack 先选剩余空卡最少但放得下的节点;然后是模型就近 (已有模型文件 > 正在下载 > 没有)、曾经跑过本部署的节点,最后 spread 下按空卡多少、再按节点 ID 定序。 本轮试算拒绝过的节点在 2 分钟内排到最后,所以池里排在前面的节点都放不下时,下一轮会试下面的,而不是反复试同几台。

永远放不下的在请求时拒绝。 创建单机部署时,服务端把候选池里的节点(不论是否在线)按硬件规格 (厂商、CPU 架构、每张卡的型号/显存/算力、能否承担服务流量)分组,每种规格挑一台按「空载」试算: 卡全部视为空闲且在场,不占磁盘。没有一种规格放得下就返回 400 DEPLOYMENT_NEVER_FITS(带候选节点数、 规格数和第一台的拒绝原因);只是「现在」放不下(卡被占、卡暂时不健康、磁盘暂满、节点离线)的照常创建并等待。 1000 台节点若只有三种规格,就只试算三次。扩容不再单独检查:形状与候选池在创建时已经检验过。

改节点条件(部署详情里「节点条件」旁的「编辑」,即 PUT /deployments/{id}/requirements)做同样的检查, 试算用部署已保存的配置——与控制器试算候选是同一段代码(planning.DeploymentLaunch);新条件下控制器 忘掉对旧池的拒绝记忆,下一轮立即按新池挑节点。厂商随镜像固定,不能改。

一台节点也放不下时副本等待,不落库、不占卡,事件 DEPLOYMENT_UNSCHEDULABLE 给出原因:池为空时是 pool_empty(节点总数、不满足条件的、离线的,以及一条不满足的具体原因),池里都放不下时是 pool_no_fit (候选数、试了几台、最合适的那台及其被拒的完整原因)。池里没有直接放得下的节点、但有节点在共卡的部署让卡后放得下时,原因是 waiting_for_yield,见新部署怎样放到共用的卡上。

等节点的副本靠节点变化重新尝试:节点上线、改标签等变化立刻让所有部署重新调度;每台 agent 每分钟一次的例行状态上报 (空卡、磁盘、镜像、卡的健康)则由控制器每 2 秒合并处理一次,只重新调度还没安定的部署(有副本在等节点或正在启动、 停止中、多机或 PD),副本数齐全且都在运行的部署不受打扰; 刚找过一轮、一台也放不下的部署 20 秒内不再被例行上报触发(节点上线、改标签、 改节点条件、它自己的实例变化仍会立即重试),免得大量等待中的部署把控制器占满在重复同样的拒绝上。

1000 台节点时这类上报每秒约 17 次,逐条全量重调度会让控制器 一刻不停地重排整个集群。

停止调度与驱逐。 维护一台节点(升级驱动、换卡、下架)时先在节点页「调度与驱逐」里停止调度:候选池把它单列为 「已停止调度」,不再往上面启动新副本(手动放置的多机、PD rank 指定了它时也等待,原因 node_cordoned;自动放置的在副本要启动时换节点,见多机推理),已有副本照常服务。

驱逐还会 把候选池放过来的副本迁走:每个部署一次迁一个,先在别的节点起好替代副本(池里多放一个),替代副本运行后原副本才进入排空、 处理完在途请求后退役,所以服务副本数不会低于驱逐前;池里放不下时原副本留着继续服务,原因照常显示。

多机与 PD 的副本同样先起后切:替代副本选同计算网络、同 GPU 架构、卡空闲的节点,运行后放置才改写过去,旧副本再排空; 没有节点可去时留在原处继续服务。钉在这台节点上的单机部署不会被驱逐迁走,可以改它的节点条件,或「强制驱逐」立即撤下 (不等替代,在能放的地方重建,不计入重试次数)。恢复调度后等待中的副本立即重试。

副本的位置不受之后的变化追溯:节点标签、换卡、网络变化只影响之后启动的副本,正在跑的副本不迁移; 副本失败后按上面的规则在池里重建;副本所在节点离线超过部署的重调度等待时间(默认 10 分钟)时,单机副本由池补位,多机与 PD 副本只换失联的 rank,都不消耗重试次数,见节点失联重调度。缩容时 spread 先去掉 副本最多的节点上的副本,binpack 先去掉副本最少的节点上的,未就绪的副本始终最先去掉。 固定 GPU 序号(placement.gpus)只在部署被钉在恰好一台节点时生效,否则由调度器在落点上选卡。

准入判定只有一处实现(GPU.UsableFor):planner 用它决定接受哪个候选,"为什么没有候选"的消息 也从同一次判定里取。没有任何候选时,报告的是最省资源那个候选被拒的真实原因(tp 不整除头数、 卡数不够、放置规则拒绝、显存不足),而不是另算一个"显存不足"的结论——后者曾出现"每卡需要 49.0 GiB、每卡可用 72.0 GiB"这种自相矛盾的提示。显存类结论只在显存确实成为瓶颈时给出,且数字来自 做出该判定的候选(异构节点取最小的合格卡)。

显存利用率这类参数不再有"没设置时用什么":部署创建时把表单字段、自定义参数和目录 spec args 物化成一份完整的启动配置(ADR 0020),估算、准入和 argv 组装都读这一份。落在 (0,1] 之外的 显存利用率是错误而不是回退——scheduler.Request.Validate 拒绝它,调度结果报 invalid_request,说明有调用方绕过了写入边界。

显存估算的核心逻辑在 pkg/estimate:按模型家族选一个 KV adapter(standard/MLA/滑窗/无 KV/兜底) 算出 KV cache 字节,叠加引擎 profile 的固定开销(engine overhead、context reserve、graph reserve), 再由 internal/server/estimate 按 tensor parallel 数把权重、多模态 encoder 字节均分到每张候选卡; 权重字节本身由 modelmeta 从模型仓库文件清单/safetensors index 得出、作为参数传入,pkg/estimate 不解析权重。估算只按 tensor parallel 均分,不建模 pipeline parallel;多机部署里 PP 的取值和限制见多机推理。

估算的输入形状来自 pkg/modelconfig。同一个架构事实在各仓库写法不同,读取时就统一:层数/头数 (num_layers、decoder_layers)、注意力的嵌套位置(text_config、llm_config、talker_config、 language_config)、混合层型(layer_types、layers_block_type、hybrid_override_pattern、 linear_attn_config)、MLA 的秩、Mistral 原生 params.json 的字段名,以及 config.json 里 Python 写出的 Infinity/NaN。多堆栈文档(Qwen2.5-Omni 的 thinker/talker)先选定一个堆栈再补齐, 避免把 talker 的 head_dim 混进 thinker。

混合模型(Kimi-Linear/K3、Nemotron-H、Qwen3.5 等) 只把真正带 K/V 的注意力层计入每 token 字节,线性注意力/SSM 层只保留递归状态。声明 kv_cache: false 的模型(扩散、纯编码器)得到"没有 KV cache"这一确定结论,与"配置读不到" 区分开。

预制模型的形状随目录下发(见 docs/reference/inference-catalog-package.md),因为模板部署 不注册模型、受限仓库服务端也取不到;用户自行注册的模型仍以抓取到的 config.json 为准。

server 侧 internal/server/estimate 在共享结果上叠加三样东西:per-engine 的 CUDA graph 预留 (vLLM/SGLang 各 1GiB,来自 deploy.Profile.GraphReserveBytes)、按加速卡 arch family 判断 bf16/fp8/fp4 支持的硬件 dtype/量化矩阵,以及 wake 估算(L1/L2 offload 秒数,按 RAM/磁盘带宽 换算)。模型盘可用空间取 agent 上报的 models path usage,不使用根盘总量。未知或非法数据按 unknown/0 处理,避免过度承诺。

运行时磁盘只在镜像确实需要拉取时预留:agent 实时 inspect 确认目标节点已缓存该镜像时不再扣 镜像大小,缓存状态未知(agent 离线或超时)按未缓存保守处理。

并行度是运行时事实:普通 spec 根据分配卡数推导 tp;多机或特殊拓扑由 args 显式表达。这样 目录不重复存储会与真实 GPU 集合冲突的 tp/nodes,也让预览和实际 controller 共享 ResolveLaunch。

这篇文档有帮助吗?