操作指南
运行评测并解读报告
本文目录
适用场景:量化托管部署或外部 OpenAI 兼容端点的吞吐、延迟和成功率,比较不同并发、到达率、输入 / 输出长度下的表现。
完成后,得到一轮评测报告,并能依据实际请求与会话完成情况、长度和缓存证据,判断哪些点位可以比较。
前置条件:能登录控制台;发压位置能访问被测端点。托管部署需有已运行且未休眠的服务实例, 外部端点需准备地址、模型名与所需 API key。具体选择见下面的目标表;已休眠的实例先唤醒。
创建并完成一轮评测
-
在评测页点新建评测,先在选问题选择参数扫描、饱和探索或 SLA 搜索。 参数扫描可比较一组指定并发或到达率;后两者根据目标逐步搜索并发。
-
在定目标选择被测对象和发压点。发压点会改变请求路径,必须先选定再比较结果:
目标与发压点 测到什么 操作条件 托管实例:选择推理服务,发压点选 Server(默认)经网关的部署端到端结果,包含负载均衡;PD 包含 P、D 交接 至少一个可服务的 rank 0 已运行且未休眠;PD 还受角色就绪与降级策略影响 托管实例:发压点选某个节点 直接访问该节点上的实例;PD 选择 decode,不能作为 PD 端到端结果 该节点上必须有该部署可服务、未休眠的 rank 0,且 agent 支持评测 外部端点:填写地址、API key,选择发压点后点探测并选模型 从所选发压点访问该外部端点 默认从 Server发压,也可选择支持评测的在线节点;网络与鉴权必须从所选位置可用从
Server测试普通内网或本机回环的外部端点,默认无需白名单;仅当开启严格模式时才需要白名单;平台管理员可在设置 → 安全与访问 → 出站访问策略管理,或由主机管理员直接编辑server.yaml的outbound_restrict_private_hosts和outbound_allow_private_hosts授权目标主机。两个字段保存后下一次请求生效,无需重启 server, 见出站访问配置。API 可通过
instance_uuid指定某个实例,此时必须由实例所在节点直连;可服务条件同样要求运行且未休眠。 多机 follower 不是独立的服务入口,PD 单实例直连也不能证明 P、D 协作正常。 -
在调负载选择数据集,填写适用的输入 / 输出长度、并发列表或到达率和每点请求量。 导入数据集时先上传 JSONL;多轮对话按会话顺序发请求,输出长度是上限。 使用随机定长或 Agentic 数据集必须提供可加载的 tokenizer。自动依次尝试:推理服务自己的
/v1/tokenize、/v1/detokenize(vLLM、SGLang 提供,部署默认开启;用引擎的分词器采样,长度与引擎计数一致,任何 tokenizer 格式都适用), 目标机上已有的tokenizer.json或tiktoken.model,随后使用模板明确声明的 Tokenizer 仓库;未声明时使用权重仓库。 GGUF 权重仓库可能不含独立 Tokenizer 文件;例如 Strata 模板通过固定版本的api.tokenizer_ref指向基础模型的 Tokenizer。 评测保存解析后的引用;手动指定的来源不会被模板覆盖。外部端点的自动只用端点自己的分词接口。 也可以只用推理服务 (de)tokenize 接口(不可用时在推理前终止,不改用其他来源)、指定模型仓库(填org/repo), 或上传tokenizer.json/tiktoken.model。 -
检查高级设置中的预热、单请求超时、输出策略、体验门槛和逐请求明细。若要在报告里查看逐条时间线,开启保留逐请求明细并设置容量。 预热若全部遇到临时故障(网络中断、408/429 或可恢复的 5xx),平台最多等待 6 分钟(单请求超时更长时以它为准), 每隔 5 秒发送一个恢复探针;认证、参数等永久错误立即失败。取消可随时停止等待和在途请求。 预热及重试不计入正式点位、吞吐或延迟;尝试次数、HTTP 状态、阶段和错误会保留在报告中, 即使尚无正式点位也可导出诊断。预热诊断不保留请求/回复正文。
随机定长或 Agentic 负载缺少 tokenizer 或加载失败时,会在预热和正式推理前失败,不再降级字符估算。自然语料和导入数据可不提供 tokenizer,其本地计数仍为估算。
exact表示使用 tokenizer 词表采样,仍不保证服务端 usage 与本地计数一致,聊天模板也会增加输入;服务端 usage 与本地估算分别保留。 -
点开始评测,在详情看进度、错误和各点位结果。若提示目标或发压点已有评测运行,先判断资源竞争是否会影响比较,再决定等待或继续。 长任务可取消,取消后保留已完成点位;节点重连后可接管任务。创建成功或 Run 结束都不等于每个请求成功。
-
结束后先核对请求与会话解释中的数量、失败原因和实际长度,再按下文查看延迟、吞吐及合格点位,最后导出报告。 全部失败或会话未完成时,先处理连接、负载或端点错误,再以相同条件重跑。
命令行发压也可用 gpuworks-agent bench,必须同时提供 --url 和 --model,并从运行该命令的机器确认端点可达;
完整选项见 CLI 参考。该方式直接测给定 URL,路径由 URL 决定。
评测本身不拉取镜像或启动额外容器。
指标口径
| 指标 | 定义 |
|---|---|
| 输出吞吐 / 总吞吐 | 点位内成功请求输出(总吞吐再加成功请求输入)token ÷ 点位时长;窗口从首个实际发送到最后一个响应/流结束,包含失败耗时、轮间等待及收尾,失败部分输出单列 |
| 请求吞吐 | 成功请求数 ÷ 点位时长 |
| 单用户输出速度(Interactivity) | 1000 / TPOT P50,单位 tok/s/user:单个请求开始解码后每秒收到的 token 数,不含 TTFT,对应 InferenceMAX 的 interactivity |
| TTFT | 从发出请求到首个生成输出(含 reasoning),包含网络和服务端等待;首个可见正文时间另列,不能仅由客户端计时分离服务端排队与 prefill |
| TPOT | 成功请求的 (末次生成输出时间 − 首次生成输出时间) ÷ (输出 token 数 − 1);仅统计能观察到解码区间、至少两个内容块且输出多于 1 个 token 的流式请求 |
| E2E 延迟 | 评测中的此项到最后一次生成输出为止;请求与会话解释另列流完成延迟,包含输出后的收尾,二者不要混用 |
| 最大输出吞吐(10s) | 点位内任意 10 秒窗口的最高输出吞吐,不受起跑和收尾阶段稀释 |
「吞吐—单用户输出速度 Pareto」图横轴是单用户输出速度,纵轴是输出吞吐,每个点位一个点。 早期版本的「每用户输出吞吐」是输出吞吐 ÷ 并发,混入了 TTFT 与请求间隙,已经停用; 历史 Run 上以它定义的 SLA 约束仍按原口径判定,再跑一次时不会带入。
高级设置
- 预热请求数(默认 1):正式点位开始前按第一个点位的负载先发这些请求,结果全部丢弃, 用于减少首请求冷启动对正式点位的影响,不保证后续测点已完全预热。0 为不预热;全部预热请求失败时评测直接失败。发压节点的 agent 版本过旧时跳过预热,评测上会出现对应警告。
- 单请求超时(默认 600 秒,可设 10–7200 秒):每个请求(含预热)的最长等待时间,超过即记为失败。 长上下文或高并发下请求排队较久时调大。发压节点的 agent 版本过旧时不支持该设置,每个请求按固定 5 分钟超时, 评测上会出现对应警告。报告记录配置的超时;早于该设置创建的评测记为未记录。
- 固定输出长度(
ignore_eos)(随机定长和 Agentic 负载,默认开):要求引擎生成到目标 输出长度;报告标记为已请求固定长度,须核对实际 OSL 和结束原因,不能据配置宣称服务端已遵从。部分 SaaS 端点不认这个参数会 返回 400,此时关掉。多轮对话与导入数据集总是自然结束。
选择发压方式
只有参数扫描可以选择闭环或开环;饱和探索和 SLA 搜索是对并发的二分,只支持闭环。
固定并发(闭环):最多同时推进 N 条会话;同一会话内按轮次依次发请求,实际在途请求数可能低于 N。
按到达率(开环):用于观察按指定到达率持续施压时的表现。先确认发压节点的 agent 支持 bench.arrival 能力,不支持时创建会被拒绝。
填写到达率列表(req/s),每个到达率是一个点位。每点请求数 = 到达率 × 每点时长(默认 60 秒),至少 20 个。
- 突发度:请求间隔服从 gamma 分布,该值为形状参数;1 是泊松到达,小于 1 更突发,大于 1 更均匀。
- 在途请求上限:0 表示不限,达到上限时新请求在客户端排队;计时从真正发出开始。
设置体验门槛
参数扫描和 SLA 模式的高级设置可指定体验门槛,包括 TTFT、完成延迟及会话完成率(0–1)。
会话完成门槛需要发压 agent 支持 bench.evidence,旧 agent 会被拒绝,避免静默忽略约束。
SLA 的单用户输出速度下限需要 bench.interactivity 能力,不支持时创建也会被拒绝。
请求与会话解释
新版点位的请求与会话解释分别显示计划、实际发起、成功、失败、取消和跳过请求数, 以及完整完成的会话数。请求成功率以实际发起请求为分母;会话完成率以计划会话为分母。 例如4个会话每个13轮,若1个会话首轮失败且不重试、其余完整完成:计划52、发起40、 成功39、失败1、跳过12,请求成功率97.5%,会话完成率75%。Run结束不代表会话完整完成。
首轮和后续轮次分别给出TTFT、TPOT、末次输出延迟和流完成延迟的P50/P99及有效样本数。
单块流、没有生成输出等请求的不可观测指标显示未知,不作为零耗时样本。
reasoning首输出与首次正文是不同事件:TTFT从首个思考或正文算起,首个正文单独给出
P50/P99和样本数,整轮只有思考、没有正文的成功请求计为「无正文」。思考内容按引擎实际使用的
字段识别(reasoning_content、reasoning、thinking);服务端usage报告了输出token、
流里却没有可识别的输出时,评测给出「流式输出未识别」提醒,相应请求不计入TTFT/TPOT样本。
块间隔不等于逐token间隔。
长度对账保留输出预算/策略、实际分布和同一请求的输入加输出峰值,并分别列出服务端usage 与本地估算。自然短输出与固定长度诊断都可保留,通过finish_reason及错误解释差异。
缓存覆盖率列出已上报数/全部实际发起数和未知请求数;加权缓存比例只在同时明确上报 服务端输入和缓存token的请求中计算。旧报告的覆盖率以成功请求为分母,导出中会标明旧口径。 首轮身份不能证明冷缓存;改变seed和预热也不能证明缓存完全隔离。 当前不自动清缓存,测点开始时的实际缓存状态标记未知。
导出与比较
详情页的「导出报告」提供四种格式,可按阅读、分享或数据分析的需要选择:
| 格式 | 内容与特性 | 适用场景与限制 |
|---|---|---|
| 离线 HTML | 按平台语言保存预览,在单个文件中内嵌 ECharts、原报告的表格以及请求和会话证据。 | 断网后可切换时间曲线指标、开关图例或选择吞吐量散点。禁用 JavaScript 时仍可阅读导出时的预览和表格。 |
| PNG 长图 | 将当前预览保存为一张图片,包含当时显示的时间线和选中请求详情。 | 适合直接发送或插入文档。文字和表格以图片保存;超过浏览器单张图片容量时导出失败,可减少显示列或改用 HTML。 |
| Markdown | 以文本和表格列出评测配置、各测点结果、请求与会话数量账、轮次分组、指标解释及部署快照;有已保留的逐请求明细时,附请求计时、来源和错误等信息。 | 适合编辑、纳入文档或版本管理。不保留页面样式和交互式图表,内容不受页面当前测点或显示列选择影响。 |
| CSV | 通常每个测点一行,保留吞吐、延迟、成功率等标量列,以及 evidence_json 中的版本化分组证据和 report_context_json 中的脱敏配置与报告上下文;不可用数值留空。 | 适合用表格软件或脚本筛选、计算和比较。完整分组需解析 JSON 列;不包含页面图表,内容不受页面当前测点或显示列选择影响。 |
HTML 和 PNG 保留当前语言、曲线指标、选中测点和显示列,自动展开高级指标及运行参数快照, 完整显示选中的表格列。返回、重跑、下载明细等在线操作不进入报告。运行中的评测保留实时值、 未定稿等提示,导出文件不会继续更新。
请求时间线可在在线结果页交互查看。选择点位后,可按会话、轮次和尝试查看从发送、首个生成输出、 首个可见正文到最后输出、流结束的计时;点击时间条或用键盘选择请求,可查看其来源、延迟与错误。 长记录分页展示,明确当前页和已保留记录数。导出的预览保留当时的时间线页和所选请求。
在 HTML 中勾选“显示完整指标”,可在同一组点位行查看原报告的列。展开预览下方的详细结果,可查看各点位的分位数、采样记录和告警。
各格式中同名指标使用一致的数量账、分组和统计口径。逐请求明细未开启、不可用或已截断时明确提示, 核心会话/轮次汇总不依赖明细文件;未观测到的事件保持未知。命令行和既有报告 API 的导出行为保持兼容。
开启保留逐请求明细后,可从点位或解释面板下载压缩JSONL,包含Run/点位/会话/轮次身份、 finish_reason、错误文本、HTTP状态、计时、原始usage及本地估算。正文可能包含敏感信息, 只在需要时开启并控制明细容量。历史记录缺少新版身份或分组时显示未知,不能事后猜测补齐。
在满足已设置门槛的测点中按声明目标选择「本轮已测点最佳」,没有合格点时不推荐; 未设置的体验门槛不自动补值。输出变短、会话提前结束或缓存证据不足时,会提示比较条件变化。 一次参数扫描不等于找到吞吐上限,未重复测量时也不能据此判断稳定性。
外部端点无法自动获得的卡型、精度、实际内核等信息显示未知;托管部署导出现有GPU、TP、 镜像与启动参数快照,配置值不能替代日志或profiler对实际运行内核的证明。
这篇文档有帮助吗?