架构说明
请求优先级
本文目录
请求优先级让引擎按请求的优先级排队:高优先级的请求先被调度,显存(KV 缓存)不够时先抢占低优先级的请求。它依靠 vLLM 与 SGLang 自带的优先级调度,平台负责打开引擎的开关,并且只允许网关决定每个请求的优先级。
部署上的开关
部署表单的请求优先级一栏默认勾选。评估按引擎最终收到的参数(推理模板参数,被自定义参数覆盖之后)判断能否开启,创建与编辑按同一规则校验。开启后平台给引擎加上:
| 引擎 | 平台注入的参数 | 引擎的数值方向 |
|---|---|---|
| vLLM | --scheduling-policy priority | 数值小的先处理,同值按到达先后 |
| SGLang | --enable-priority-scheduling --default-priority-value 0 | 数值大的先处理;没带优先级的请求(健康检查、引擎自带的预热请求)按 0 处理 |
自定义参数里已经写了同名参数时,平台不再注入,以用户写的为准。修改开关需要重建副本,编辑确认框会列出 priority_scheduling 为需重启的变更。升级前创建的部署保持关闭,需要时在编辑里打开。
以下情况不能开启,部署表单在开关旁写明原因,此部署不区分优先级:
| 原因 | 说明 |
|---|---|
| 引擎不是 vLLM 或 SGLang | 其他引擎没有平台可驱动的优先级调度 |
| 加速卡上的引擎构建未验证 | 开启范围:NVIDIA(vLLM、SGLang,已实测)、AMD(vLLM、SGLang)与海光(vLLM);后两者与上游使用同一份调度器代码,按源码确认,未在真卡上测过。昇腾、PPU、昆仑芯、海光 SGLang 等暂不开启 |
| PD 分离部署 | 暂不支持 |
| 调度参数冲突 | vLLM 的 --scheduling-policy 不是 priority;SGLang 的 --schedule-policy 不是 fcfs 或 lof(例如 lpm),或写了 --schedule-low-priority-values-first |
冲突来自推理模板时(例如某些模板为了前缀缓存命中用了 --schedule-policy lpm),开关旁提供一键操作:把 --schedule-policy fcfs 加进自定义参数,覆盖模板的值,评估随后重新判断。这样做会失去原调度策略的优化。冲突来自用户自己写的参数时,由用户自行修改。
优先级类
优先级类是一个名称加一个数值,数值越大越重要,范围 -100 到 100。在「设置 → 节点与部署 → 请求优先级」里管理,只有管理员能改。内置五个类:
| 名称 | 数值 | 用途 |
|---|---|---|
critical | 40 | 关键业务 |
high | 20 | |
normal | 0 | 初始默认 |
low | -20 | |
batch | -40 | 批处理请求固定使用 |
内置类只能改显示名称和说明,不能改名称、数值,也不能删除。管理员可以新建自己的类。相差超过 10 的两个类,SGLang 会让高的抢占正在运行的低的;相差不超过 10 只影响排队顺序。
其中一个类是默认类:没有绑定类的 API 令牌、试验场、无需令牌(管理员打开了匿名访问)的请求都用它。默认类不能删除;绑定在未吊销令牌上的类也不能删除。
令牌绑定与客户端指定
管理员可以在 API 令牌页给令牌绑定:
- 优先级:令牌的请求默认使用的类;不绑定就用默认类。
- 客户端可否指定(策略),客户端用请求头
X-GPUWorks-Priority-Class: <名称>指定:- 上限内自选(默认):可以选任意不高于上限的类,高于上限时按上限处理;上限不设就等于令牌自己的类,不能低于令牌自己的类。
- 固定:忽略请求头。
- 只降不升:只能选不高于令牌自己的类。
只有「上限内自选」有上限,其他策略保存时会去掉上限。请求头里的名称不区分大小写;名称不存在时,网关在选择部署之前就返回 400,不转发、不唤醒休眠的部署。同一个请求的重试和抢占后的重放都使用第一次决定的类。批处理请求不看令牌,始终使用 batch 类。
网关如何写入优先级
网关先决定请求的类,在响应头 X-GPUWorks-Priority-Class 里写明,然后:
- 目标实例实际是带着优先级调度启动的(看实例的启动命令;部署要求开启、但落在不允许的加速卡上的实例不算),且请求不是
/v1/tokenize、/v1/detokenize这类辅助接口时,把类的数值按引擎方向写进请求体的priority:vLLM 取反(数值小的先处理),SGLang 原值。 - 否则(包括 tokenize 等辅助接口)把请求体里已有的
priority改为0,不含时不改动请求体。
请求的 Content-Type 参数写错(如 application/json; x)时仍按 JSON 处理,客户端无法借此绕过。
无论哪种情况,客户端自带的 priority 字段和 X-Vllm-Priority 请求头(vLLM 用它覆盖请求体)都不会到达引擎。PD 部署的两段请求同样处理。
类的改动在本 server 上对下一个请求立即生效;有多台 server 时,其他 server 最多 5 秒后跟上。令牌绑定的改动从该令牌的下一个请求起生效。
观测
- 每条请求记录带
priority_class(请求运行时所用类的名称),请求详情里显示;请求记录接口可按它筛选(priority_class参数)。 - 运营分析的「服务质量」页有「按请求优先级」表,分别给出各类的请求数、成功率与首 token、端到端分位数。低优先级在高优先级持续占满引擎时可能长时间排队,全局指标看不出来,要看这张表。启用优先级之前的请求记为「未记录」,类未知。
效果与局限
- 优先级只在引擎有排队时起作用。引擎不排队时,开不开没有区别。
- vLLM 里高优先级的新请求不会挤掉正在运行的请求,只能等
--max-num-seqs腾出空位;只有 KV 缓存不够时,才抢占优先级最低、到得最晚的请求。被抢占的流式请求会停顿几秒后续上,输出完整。 - SGLang 里新请求的优先级比运行中请求高出 10 以上(
--priority-scheduling-preemption-threshold的默认值,必须严格大于)就立即抢占;被抢占的请求依靠前缀缓存续上。 - 两个引擎都是严格优先级,没有按等待时间提升的机制:持续饱和时,低优先级请求的等待时间没有上限。
- 优先级只在单个副本内部起作用;网关在多个副本之间选择时不看优先级。
- 在 NVIDIA 单卡上实测,开启后对同一优先级的负载,吞吐、首 token 时间与前缀缓存命中率的变化都在测量噪声内。
这篇文档有帮助吗?