跳转到正文

请求优先级

本文目录

请求优先级让引擎按请求的优先级排队:高优先级的请求先被调度,显存(KV 缓存)不够时先抢占低优先级的请求。它依靠 vLLM 与 SGLang 自带的优先级调度,平台负责打开引擎的开关,并且只允许网关决定每个请求的优先级。

部署上的开关

部署表单的请求优先级一栏默认勾选。评估按引擎最终收到的参数(推理模板参数,被自定义参数覆盖之后)判断能否开启,创建与编辑按同一规则校验。开启后平台给引擎加上:

引擎平台注入的参数引擎的数值方向
vLLM--scheduling-policy priority数值小的先处理,同值按到达先后
SGLang--enable-priority-scheduling --default-priority-value 0数值大的先处理;没带优先级的请求(健康检查、引擎自带的预热请求)按 0 处理

自定义参数里已经写了同名参数时,平台不再注入,以用户写的为准。修改开关需要重建副本,编辑确认框会列出 priority_scheduling 为需重启的变更。升级前创建的部署保持关闭,需要时在编辑里打开。

以下情况不能开启,部署表单在开关旁写明原因,此部署不区分优先级:

原因说明
引擎不是 vLLM 或 SGLang其他引擎没有平台可驱动的优先级调度
加速卡上的引擎构建未验证开启范围:NVIDIA(vLLM、SGLang,已实测)、AMD(vLLM、SGLang)与海光(vLLM);后两者与上游使用同一份调度器代码,按源码确认,未在真卡上测过。昇腾、PPU、昆仑芯、海光 SGLang 等暂不开启
PD 分离部署暂不支持
调度参数冲突vLLM 的 --scheduling-policy 不是 priority;SGLang 的 --schedule-policy 不是 fcfs 或 lof(例如 lpm),或写了 --schedule-low-priority-values-first

冲突来自推理模板时(例如某些模板为了前缀缓存命中用了 --schedule-policy lpm),开关旁提供一键操作:把 --schedule-policy fcfs 加进自定义参数,覆盖模板的值,评估随后重新判断。这样做会失去原调度策略的优化。冲突来自用户自己写的参数时,由用户自行修改。

优先级类

优先级类是一个名称加一个数值,数值越大越重要,范围 -100 到 100。在「设置 → 节点与部署 → 请求优先级」里管理,只有管理员能改。内置五个类:

名称数值用途
critical40关键业务
high20
normal0初始默认
low-20
batch-40批处理请求固定使用

内置类只能改显示名称和说明,不能改名称、数值,也不能删除。管理员可以新建自己的类。相差超过 10 的两个类,SGLang 会让高的抢占正在运行的低的;相差不超过 10 只影响排队顺序。

其中一个类是默认类:没有绑定类的 API 令牌、试验场、无需令牌(管理员打开了匿名访问)的请求都用它。默认类不能删除;绑定在未吊销令牌上的类也不能删除。

令牌绑定与客户端指定

管理员可以在 API 令牌页给令牌绑定:

  • 优先级:令牌的请求默认使用的类;不绑定就用默认类。
  • 客户端可否指定(策略),客户端用请求头 X-GPUWorks-Priority-Class: <名称> 指定:
    • 上限内自选(默认):可以选任意不高于上限的类,高于上限时按上限处理;上限不设就等于令牌自己的类,不能低于令牌自己的类。
    • 固定:忽略请求头。
    • 只降不升:只能选不高于令牌自己的类。

只有「上限内自选」有上限,其他策略保存时会去掉上限。请求头里的名称不区分大小写;名称不存在时,网关在选择部署之前就返回 400,不转发、不唤醒休眠的部署。同一个请求的重试和抢占后的重放都使用第一次决定的类。批处理请求不看令牌,始终使用 batch 类。

网关如何写入优先级

网关先决定请求的类,在响应头 X-GPUWorks-Priority-Class 里写明,然后:

  • 目标实例实际是带着优先级调度启动的(看实例的启动命令;部署要求开启、但落在不允许的加速卡上的实例不算),且请求不是 /v1/tokenize、/v1/detokenize 这类辅助接口时,把类的数值按引擎方向写进请求体的 priority:vLLM 取反(数值小的先处理),SGLang 原值。
  • 否则(包括 tokenize 等辅助接口)把请求体里已有的 priority 改为 0,不含时不改动请求体。

请求的 Content-Type 参数写错(如 application/json; x)时仍按 JSON 处理,客户端无法借此绕过。

无论哪种情况,客户端自带的 priority 字段和 X-Vllm-Priority 请求头(vLLM 用它覆盖请求体)都不会到达引擎。PD 部署的两段请求同样处理。

类的改动在本 server 上对下一个请求立即生效;有多台 server 时,其他 server 最多 5 秒后跟上。令牌绑定的改动从该令牌的下一个请求起生效。

观测

  • 每条请求记录带 priority_class(请求运行时所用类的名称),请求详情里显示;请求记录接口可按它筛选(priority_class 参数)。
  • 运营分析的「服务质量」页有「按请求优先级」表,分别给出各类的请求数、成功率与首 token、端到端分位数。低优先级在高优先级持续占满引擎时可能长时间排队,全局指标看不出来,要看这张表。启用优先级之前的请求记为「未记录」,类未知。

效果与局限

  • 优先级只在引擎有排队时起作用。引擎不排队时,开不开没有区别。
  • vLLM 里高优先级的新请求不会挤掉正在运行的请求,只能等 --max-num-seqs 腾出空位;只有 KV 缓存不够时,才抢占优先级最低、到得最晚的请求。被抢占的流式请求会停顿几秒后续上,输出完整。
  • SGLang 里新请求的优先级比运行中请求高出 10 以上(--priority-scheduling-preemption-threshold 的默认值,必须严格大于)就立即抢占;被抢占的请求依靠前缀缓存续上。
  • 两个引擎都是严格优先级,没有按等待时间提升的机制:持续饱和时,低优先级请求的等待时间没有上限。
  • 优先级只在单个副本内部起作用;网关在多个副本之间选择时不看优先级。
  • 在 NVIDIA 单卡上实测,开启后对同一优先级的负载,吞吐、首 token 时间与前缀缓存命中率的变化都在测量噪声内。

这篇文档有帮助吗?