跳转到正文

出让策略:几个部署怎样共用一批 GPU

本文目录

本文解释出让策略是什么、平台按什么规则让一个部署为另一个让卡,以及这些规则背后的取舍。操作步骤见使用调度分析,决策记录见 ADR 0059。

为什么需要

可休眠的部署睡下后只在卡上留一点残留,其余显存可以给别的部署用。于是同一批卡上可以放几个部署,同一时刻只有一部分醒着。难点是“谁该醒着”:

  • 实时对话随来随用,批处理只要卡空着就该跑;实时来了请求,应该马上把卡拿回来。
  • 几个都不常用的模型轮流用一批卡,谁有请求谁醒,但不能来回抖:切换本身要几秒,太频繁就谁都服务不了。

这两种需要由一个部署上的出让策略加几个只在适用时才出现的参数来表达,平台按一条规则执行,每个动作都写进时间线。出让策略是唯一要选的东西。

没有别的部署等它的卡时,部署就一直醒着,不会自己睡下:自己睡下只会让显存空着,还让它自己的下一个请求多等一次唤醒。要在固定时间睡下,用定时计划。

出让策略

出让策略决定部署会不会、什么时候把卡让给别的部署,也就是谁可以抢谁。规则只看这一项。四个策略按等级从高到低排列:

策略适合含义
不自动出让(never)常驻服务从不把卡让给别的部署;只有运维或定时计划让它休眠
闲置自动出让(idle)在线服务别的部署在等它的卡、且它已闲置(没有进行中或挂起的请求)满闲置时间,才让出;忙着时从不让
按时自动出让(timeslice)多个模型分时共用闲置满闲置时间时让;更高等级的部署来了立即让,忙着也让;与同为按时自动出让的部署轮流,每轮最长服务时间
随时出让(anytime)批处理与离线任务闲置满闲置时间时让;更高等级的部署来了立即让,忙着也让;与同为随时出让的部署之间只在闲置时互让

不自动出让以外的策略只用于可休眠的单机部署;多机与 PD 部署的策略必须是不自动出让。

参数

界面只显示对当前策略适用的参数;API 接受不适用的参数、忽略它们,响应里也不返回。缺省的参数取所选策略的默认值,默认值由 GET /api/v1/scheduling/yield-policies 给出,界面不另存一份。

参数含义适用于默认值(闲置 / 按时 / 随时)
idle_sec 闲置时间(15–604800 秒)多久没有请求算闲置:闲置满这么久,有部署在等它的卡就让;按时自动出让时不得超过最长服务时间闲置自动出让、按时自动出让、随时出让60 / 30 / 30
max_serve_sec 最长服务时间(30–86400 秒)与另一个按时自动出让的部署轮流时,一次醒来最长服务多久,到了就让按时自动出让— / 120 / —
unfinished 出让时未完成请求的处理abort 立即中断;wait 等它们完成,最多 unfinished_wait_sec 秒(1–600,默认 30),到时仍有的被中断按时自动出让、随时出让(闲置自动出让只在闲置时出让,那时没有请求在跑)— / wait / abort
sleep_level 休眠级别auto:L1,主机内存放不下权重时退回 L2;l1:严格 L1,主机放不下就拒绝,同运维手动下的 L1 休眠;l2:L2。适用于平台替这个部署选的每一次休眠(让卡),运维和定时计划下的休眠不受影响。运维让位唤醒的 yield_level=1(默认)也是 auto 这条规则:让卡和让位唤醒用同一套休眠级别的取舍除不自动出让外的三个auto
hold_max_sec 请求最长挂起时间(10–3600 秒)部署睡着或醒来期间,网关最多替请求挂多久,超时回 503 并带 Retry-After除不自动出让外的三个300 / 600 / 3600

等待完成不再有“不限时”:最长等 600 秒。

让卡规则

等卡的部署 W 可以让醒着的部署 H 休眠,当且仅当 H 的策略不是不自动出让,并且满足下面任一条:

  1. 闲置:H 没有进行中、也没有挂起的请求,已经满它的闲置时间。三个会出让的策略都适用。
  2. 等级:H 是按时自动出让或随时出让,且 W 的等级更高(不自动出让 > 闲置自动出让 > 按时自动出让 > 随时出让)。H 忙着也让,进行中的请求按它的 unfinished 处理。
  3. 轮流:H 与 W 同为按时自动出让,H 这一次醒来已服务满最长服务时间。

同为随时出让的两个部署之间只有规则 1:谁闲置了谁让。两个闲置自动出让的部署同理。

统计「让出」时,驻留仲裁让占卡者休眠和运维的让位唤醒让占用者休眠算同一类事件,总览、时间线和调度记录数的是同一批;两者都记下为哪个部署让卡。

两者醒来的方式按被让出的部署自己的出让策略定。仲裁让出的部署是平台替它选的休眠,请求能把它唤醒,按上面的规则再要回卡。运维的让位唤醒让出的部署,出让策略不是不自动出让时同样由请求唤醒:它本来就同意按需让卡、按需要回,一次运维点名的让位不该让它退出轮流用卡;不自动出让的则是保持休眠,要等运维(或定时计划)手动唤醒,请求唤醒不了它,它也不为自己留卡。界面在确认让位唤醒时说明这两种结果,并在结果里分开列出被让位的部署。

W 要的卡上若有几个醒着的副本,要么都让,要么都不让:只让一部分会停掉服务,又腾不出地方。几个部署同时在等时,等级高的先;同级里有请求在等(或有副本在等放置)的,先于只等着拿回卡的待恢复部署,再按等得最久的先,所以同级不会饿死。待恢复不回应任何人:它从不让醒着的部署为它让卡,只在卡没人占时拿回。更低的等级在设计上可以被饿着,比如实时一直忙时,批处理就一直等。

规则在让卡到期的那一刻执行,而不是等周期性的评估:评估器为下一个到期的时刻(闲置时间满、一轮服务结束、等待完成的上限到)设一个定时器,所以 15 秒、30 秒这样的阈值能准到约一秒。忙着、要等它闲置才让的占卡者,平台每 2 秒看一次它是否闲置。

两个闲置自动出让的部署共用一张卡

两个闲置自动出让的部署可以放在同一张卡上,但要知道它们的行为:两边都忙时谁都不让,一方的请求会被网关挂起,直到对方闲置满闲置时间,或者挂到自己的 hold_max_sec 后得到 503。PUT .../yield-policy 的响应里 idle_neighbours 列出卡上其他的闲置自动出让部署,界面据此给出提示。要让它们轮流,改用按时自动出让。

一次让卡怎样进行

  1. 请求到达睡着的部署,网关挂起请求并通知驻留仲裁(100 毫秒内处理)。
  2. 仲裁先试正常唤醒;放得下就唤醒,网关在部署醒后放行请求。
  3. 放不下时按上面的规则判断占卡者。要让卡:
    • 因闲置而让的,占卡者没有请求在跑,直接休眠;
    • 否则按占卡者的 unfinished 处理还在跑的请求:abort 立即休眠并中断它们;wait 先让网关停止给让卡的副本接新请求:部署的其他副本照常接,没有别的副本可接时新请求才挂起;等这个副本上进行中的请求结束再休眠,最多等 unfinished_wait_sec 秒,到时仍有请求就中断。全部做完才休眠的,以 mode=wait 休眠;到时被中断的,以 mode=abort 休眠。
  4. 占卡者确认睡下、卡上只剩残留后,等卡者被唤醒,挂起的请求放行。让卡落地期间,仲裁每 250 毫秒看一次,最多两分钟,只看为之让卡的那个部署的等位唤醒;对方的唤醒在占卡者睡下后一次检查内落地。
  5. 被让卡的按时自动出让、随时出让部署记入待恢复,卡没人占时(占卡的部署停止、删除或缩容)自动拿回。它不让任何醒着的部署为它让卡,占卡者忙着不让,闲着也不让:两个部署都没有请求时不会来回切换;它要回卡,就等有请求在等它,那时按上面的让卡规则轮转。

被中断的非流式请求由网关挂起,部署恢复后重放(最多 3 次),客户端只看到跑完的结果。流式请求已经开始输出,无法重放:客户端看到正常结束的 HTTP 200,finish_reason 为 "abort",内容被截断,应据此重试。长任务可交给平台托管的批处理任务,被中断的请求由它自动重试。

为什么平台选的休眠默认用 L1

在 L20 上实测(vLLM 0.17.1,7B 与 14B 模型):两个模型同卡互换,从让出方休眠到被唤醒方出第一个 token,L1 约 2.5 秒;L2 在模型文件留在页缓存里时约 3.5–5 秒,要从磁盘读时 14B 需要 40–110 秒。引擎第一次 L1 休眠会钉住约 1.9 倍权重大小的主机内存,唤醒后也不释放;而平台在每个可休眠实例启动后都会做一次 L1 预热(掩盖首次休眠的十几秒),所以这块内存从启动起就已经占着。L1 因此不再多占主机内存,切换最快,也不依赖页缓存。

所以休眠级别默认 auto:先 L1,主机可用内存放不下权重时(估算偏保守)退回 L2。要严格的 L1(放不下就拒绝,而不是悄悄变慢)选 l1;愿意用切换时间换主机内存的选 l2。

这也意味着:打开可休眠的部署,从启动起就占着 1.4–1.9 倍权重大小的主机内存,具体倍数因模型而异(L20 上 7B/14B 约 1.9 倍;H20 上 TP8 的 DeepSeek-V4.1-Flash 1.44 倍、GLM-5.3-Flash 1.78 倍),L2 休眠也不还回去。同一台主机上多个可休眠部署时,要按这个量规划主机内存:一台 2 TB 内存的 H20 主机放得下两个 300–400 GB 权重的可休眠部署,放不下三个。

保持休眠

保持休眠是请求不唤醒的休眠:网关仍回 503,免得请求推翻运维的决定。定时计划下的休眠总是保持休眠;运维手动下的休眠由运维选(休眠时的有请求时自动唤醒,API 的 wake_on_request),不选时按部署的出让策略定:不自动出让的部署是保持休眠,其他出让策略的部署由请求唤醒,和平台让卡一样继续按规则轮流用卡(部署详情的 sleep_wakes_on_request 给出这个默认值)。运维的让位唤醒对占用者用同一条规则。平台自己做的休眠(让卡)不是保持休眠,有请求时会被唤醒;保持休眠也不为自己留卡(见放置怎样为共卡留位置)。已经保持休眠的部署,运维可以允许请求唤醒(POST /deployments/{id}/wake-on-request):解除全部保持而不唤醒,并撤销部署整体的休眠命令。

保持是每个实例自己的(instances.sleep_held),不是整个部署的:

  • 一次保持休眠只保持它点名的实例:部署整体休眠和定时休眠保持全部实例,角色休眠保持该角色的实例,副本休眠保持那个副本,让位唤醒保持被让位的不自动出让部署的副本。部署整体的休眠命令总是保持休眠,在命令下新起的实例也被保持;所以运维选了由请求唤醒的整体休眠不下部署整体的命令,而是逐个副本下令。
  • 一次唤醒只解除它唤醒的、或留下等位的那些实例的保持,包括一次要等位的唤醒:运维的 POST /deployments/{id}/wake?wait=true 答 202 waiting 时,等位实例的保持就解除了,之后到达的请求由网关挂起、等这次唤醒,驻留仲裁也可以按各自的出让策略为它腾地方,而不是回 503。部署的其他实例照旧。
  • 平台自己的休眠(驻留仲裁让卡)既不设也不解除任何实例的保持。

所以一个部署可以一部分实例被保持、一部分由平台休眠。请求只唤醒后者:网关在部署还有请求能唤醒的休眠实例时挂起请求,所有休眠实例都被保持时立即回 503;驻留仲裁和请求触发的唤醒只唤醒没被保持的实例,定时计划和运维的唤醒唤醒它点名的实例。部署详情的 sleep_hold 给出休眠副本的保持情况(all 全部被保持、some 部分、none 都没有),sleep_held 即 sleep_hold 为 all;每个实例的 sleep_held 说它自己。

放置怎样为共卡留位置

一个按出让策略共卡的部署(策略不是不自动出让)睡着时,只有在请求能唤醒它的情况下才为它留卡:这时对与它不共卡的部署(不自动出让)仍按全量占用计算,所以不会有部署落到它的卡上让请求醒不回来;对其他按出让策略共卡的部署只计残留,它们可以放上去。请求能唤醒指部署可休眠、且这个实例的休眠不是保持休眠(Deployment.WakesOnRequest,按实例问;网关、驻留仲裁和放置问的是同一个问题)。同一个部署里,只有请求能唤醒的休眠实例留卡,被保持的不留。

保持休眠(定时计划的休眠、运维选了保持的休眠)不留卡:请求不唤醒它,它的卡对任何新部署开放;之后运维或定时计划的唤醒,要么等卡空出来(?wait=true),要么自己让占卡者休眠(?yield=true),见操作 sleep / wake。

新部署只是因为休眠者留着卡才放不下时,待放置的原因是 reserved_for_sleepers,参数是 node、gpus(它本来会用的卡)和 sleepers(休眠者,每项 deployment、policy,即出让策略)。界面写成“gpu3 的 GPU 0 为休眠中的 qwen3-asr(闲置自动出让)保留,供请求到达时唤醒;不自动出让的部署不会放到这些卡上。可以换一张卡,为本部署开启休眠并选择能共卡的出让策略,或手动休眠占卡的部署(手动休眠的部署不保留卡)。”创建部署时就可以选出让策略,放置和预览都按它的策略计算。

新副本怎样等卡

一个按出让策略共卡的部署(策略不是不自动出让)启动新副本时,它要的卡可能被别的共卡部署醒着占着。这时副本不再停在“放不下”:放置把与它共卡的部署(策略也不是不自动出让)醒着的实例当作已休眠,再算一次;这样放得下,副本就等它们让卡,待放置的原因是 waiting_for_yield。原因里写明节点、每个占卡部署按什么条件让(holders:at_once 立即让,或 idle_sec 闲置多久、max_serve_sec 本轮服务满多久后让)和占卡的实例。界面写成“等待:batch 立即让出 GPU;shared 闲置 30 秒或本轮服务满 2 分钟后让出 GPU。之后在 gpu-1 上放置副本。”

  • 驻留仲裁把这个副本当作等睡着部署的请求,用新副本所在部署的策略,按同一条让卡规则让占卡者休眠:新副本等级更高时,按时自动出让、随时出让的占卡者立即让;否则等占卡者闲置满它的闲置时间;同为按时自动出让时,等占卡者这一轮服务满最长服务时间。占卡者睡下、卡上只剩残留后,副本才放置、启动。
  • 不自动出让的新部署不等任何人,仍要有空闲的卡;不自动出让的占卡者从不会被要求让。
  • 控制器在等待期间每 5 秒重新算一次这个副本。一个部署有多个候选节点(节点池)时,只有没有任何节点能直接放下,才选需要等卡的节点。已经在等某个节点时,每次先只看那个节点:占卡者睡下后仍放得下就只重算它,只有它即使占卡者让卡也放不下了,才继续找池里的其他节点。
  • 让出卡的部署,在新副本放置、启动期间(最多 10 分钟)不会把卡拿回去;新副本的一轮服务和闲置时间,从它开始服务时算起。
  • 这份等待只在 server 内存里:server 重启后,控制器第一轮会重新记下它。
  • 实测(进程级用例):把一个在线(闲置自动出让)部署创建到一个随时出让部署醒着占着的卡上,创建后约 6 秒在线部署开始服务,随时出让部署按等级被休眠。

限制

  • 不自动出让以外的策略只覆盖单机部署;多机与 PD 部署的策略必须是不自动出让。
  • 新副本等占卡者让卡只限单机、按出让策略共卡的部署(见上节);多机与 PD 部署的策略是不自动出让,卡被占着时仍按放不下等待。
  • 挂起的请求、排空进度和闲置时间只在 server 内存里。server 重启后,待恢复名单和按时自动出让部署一轮的起点从事件日志读回:被让卡的部署在卡空出来后照样自动要回卡,轮流不因重启多给一轮;闲置时间从重启时算起。正常停止时挂起中的请求立即得到 503 与 Retry-After,SIGKILL 时连接断开,都要客户端重试(ADR 0059 2026-11-13 修订)。
  • 随时出让、按时自动出让部署被中断的请求需要客户端重试;平台托管的批处理任务(/v1/batches)会自动重试,直到任务过期。
  • 没有别的部署等它的卡时,部署不会自己休眠。升级前打开了“无抢占时自动休眠”的部署,升级后不再在无人等卡时自己睡下;要在固定时间休眠,用定时计划。

这篇文档有帮助吗?