把分散的加速卡纳入同一个算力池,从模板一键部署模型,再通过 OpenAI 兼容 API 提供服务。
bash <(curl -fsSL https://dl.gpuworks.ai/get.sh)探索 GPUWorks 控制台
从集群资源到单次推理请求,在一个控制台里查看和管理。
同一个集群,支持六家加速卡
算力管理
一个池子管好所有卡
把不同环境的加速卡放进同一个资源池,统一接入、调度和监控。
统一纳管异构算力
接入裸机、公有云、私有云与 Apple 芯片 Mac。节点主动连接控制面,支持免 root 接入和离线部署。
- 6 家加速卡
- 裸机
- 公有云
- 私有云
- Mac
- 免 root
- 免入站端口
- 离线可用
让有限的卡跑更多模型
用 dGPU 为模型分配显存配额,通过 sleep / wake 让模型轮流用卡。支持按请求唤醒、批处理和定时计划。
- dGPU 显存限额
- sleep / wake
- 出让策略
- 请求自动唤醒
- Batch API
- 定时计划
- 三层监控
- GPU 健康检查
- 节点失联重调度
- 用量与卡时分析
- Web 终端
推理服务
从模板到 API
选模板、部署、调用。从服务性能到每次请求,都能在控制台查看。
模型Qwen3-32B
加速卡NVIDIA
推理模板vLLM已匹配
请求
/v1Prefill2 个实例
处理提示词Decode4 个实例
逐 Token 生成Python
from openai import OpenAI
url = "http://<server>:8800/v1"
client = OpenAI(
base_url=url,
api_key="gw-...",
)
client.chat.completions.create(
model="qwen3-32b",
messages=[{
"role": "user",
"content": "你好"
}],
)POST /v1/chat/completions200 OK- 延迟拆解
- 单请求追踪
- 内置压测
- 试验场
- AI 助手 · MCP
千台 GPU 机器,一个控制面
2026 年 11 月阿里云 7 地域演练。模型为 Qwen3-0.6B,数据来自单次环境。

- 单个 Server 纳管 GPU 机器
- 1,003 台
- 500+ 副本全部运行
- 约 4 分钟
- 网关并发
- 2,000
- 控制面安装包
- 40+ MB