跳到主要内容
Apache 2.0 开源

轻量的 GPU 算力管理
与模型服务平台

把分散的加速卡纳入同一个算力池,从模板一键部署模型,再通过 OpenAI 兼容 API 提供服务。

bash <(curl -fsSL https://dl.gpuworks.ai/get.sh)

GPUWorks 控制台概览,展示算力资源、推理服务和 Token 用量的演示数据

探索 GPUWorks 控制台

从集群资源到单次推理请求,在一个控制台里查看和管理。

推理模板

选好模型,就能部署

浏览 393 个模型和 1,250 份启动规格,按加速卡型号查找匹配的推理引擎和启动参数。

查看大图
推理模板截图,展示可筛选的模型与启动规格

监控中心

从集群看到单次请求

在同一处查看集群、节点和 GPU 指标,追踪请求经过的副本,定位首字等待和输出延迟。

查看大图
监控中心截图,展示平台运行指标

调度分析

部署前就知道放在哪

根据显存预估和硬件拓扑匹配节点,查看候选 GPU、淘汰原因、热力图和调度记录。

查看大图
调度分析截图,展示 GPU 资源分布和调度记录

用量分析

查清算力与模型用量

按模型与 API 令牌查看 Token 用量和请求趋势,结合卡时数据了解算力消耗。

查看大图
用量分析截图,展示 Token 用量、请求数和趋势

同一个集群,支持六家加速卡

  • NVIDIA
  • AMD
  • 平头哥 PPU
  • 华为昇腾
  • 海光 DCU
  • Apple Silicon
支持矩阵

算力管理
一个池子管好所有卡

把不同环境的加速卡放进同一个资源池,统一接入、调度和监控。

统一纳管异构算力

接入裸机、公有云、私有云与 Apple 芯片 Mac。节点主动连接控制面,支持免 root 接入和离线部署。

  • 6 家加速卡
  • 裸机
  • 公有云
  • 私有云
  • Mac
  • 免 root
  • 免入站端口
  • 离线可用
了解节点接入
服务器、公有云、私有云和 Mac 接入同一算力池。资源网格展示已分配和可用的算力。

部署前就知道放在哪

按显存预估和硬件拓扑筛选候选 GPU,查看淘汰原因,并通过 GPU 热力图和调度记录了解资源分配。

  • 显存预估
  • 拓扑感知
  • 淘汰原因
  • GPU 热力图
  • 调度记录
了解调度结果
调度分析热力图按节点显示卡片用量。图中高亮的 H100 节点有 2 张空闲卡。

让有限的卡跑更多模型

用 dGPU 为模型分配显存配额,通过 sleep / wake 让模型轮流用卡。支持按请求唤醒、批处理和定时计划。

  • dGPU 显存限额
  • sleep / wake
  • 出让策略
  • 请求自动唤醒
  • Batch API
  • 定时计划
在一张卡上运行两个模型
Qwen3-14B 与 bge-m3 共享一张卡的显存。时间轨道展示模型和批处理轮流使用同一批卡。
  • 三层监控
  • GPU 健康检查
  • 节点失联重调度
  • 用量与卡时分析
  • Web 终端

推理服务
从模板到 API

选模板、部署、调用。从服务性能到每次请求,都能在控制台查看。

查看网关文档
模型Qwen3-32B
加速卡NVIDIA
推理模板vLLM已匹配
请求 /v1
GPUWorks 网关
Prefill2 个实例
处理提示词
Decode4 个实例
逐 Token 生成
Prefill 通过 RDMA 将 KV Cache 传给 Decode。
Python
from openai import OpenAI
url = "http://<server>:8800/v1"
client = OpenAI(
    base_url=url,
    api_key="gw-...",
)
client.chat.completions.create(
    model="qwen3-32b",
    messages=[{
        "role": "user",
        "content": "你好"
    }],
)
POST /v1/chat/completions200 OK
  • 延迟拆解
  • 单请求追踪
  • 内置压测
  • 试验场
  • AI 助手 · MCP

千台 GPU 机器,一个控制面

2026 年 11 月阿里云 7 地域演练。模型为 Qwen3-0.6B,数据来自单次环境。

观看直播回放
GPUWorks 千台 GPU 服务器 1 小时上线挑战的直播回放封面
单个 Server 纳管 GPU 机器
1,003 台
500+ 副本全部运行
约 4 分钟
网关并发
2,000
控制面安装包
40+ MB

文档、博客与社区

开始使用 GPUWorks

bash <(curl -fsSL https://dl.gpuworks.ai/get.sh)