跳转到正文

使用 AI 助手

本文目录

适用场景:实例启动失败时找根因和修法;判断一个模型在当前集群哪些卡上能跑、要几张卡;部署的副本为什么调度不上;节点和加速卡是否健康。

完成后,能针对一个明确对象获得带证据的分析,并回到对应页面核对和执行必要的处理。助手不会代你修改平台。

前置条件:

  • server 已运行并能登录控制台,见从零启动并部署第一个模型。
  • 只用平台检查时不需要配置 LLM。需要 AI 解读时,先在设置 → 集成 → AI 服务保存一个 server 可访问的 OpenAI 兼容端点(base URL、模型名和 API key);key 由 server 加密保存。
  • AI 服务的出站代理三选一:管理节点出站代理(默认,使用拉取设置 → 代理中勾选了「用于管理节点出站访问」的代理,与镜像目录、模型元数据请求相同;没有时使用 server 进程的代理环境变量)、直连(不经任何代理)或自定义代理(只给这个服务用的 http/https/socks5/socks5h 地址,可带登录信息,加密保存)。测试连接按所选代理发请求。
  • 支持图片输入表示该模型能看图,新建时按预设填初值(如 DeepSeek 的 deepseek-flash 默认打开)。上游模型会更新,点开关旁的检测会按当前地址、模型和代理发一张小图:回答认出图片颜色才打开;因图片被拒,或应答了却没看到图片(有的上游会静默丢弃图片,如 deepseek-v4-pro),都会关闭;判断不了时不改动。
  • 普通内网或本机回环的 AI 端点默认无需白名单;仅当开启严格模式时才需要白名单;平台管理员可在设置 → 安全与访问 → 出站访问策略管理,或由主机管理员直接编辑 server.yaml 的 outbound_restrict_private_hosts 和 outbound_allow_private_hosts 授权目标主机。两个字段保存后下一次请求生效,无需重启 server,见出站访问配置。
  • 分析会把读取到的诊断数据发送给所配置的 AI 服务。配置前确认目标主机与数据使用范围;设置页会提示外部服务主机,同源的平台模型不显示这条提示。

入口:点一下就开始,不需要写提示词

助手是一个常驻右侧的侧边栏,切换页面不会关闭,打开时页面照常可用。不需要自己写提示词:每个入口对应一个「任务」,点下去 server 会自己收集该收集的信息。

任务入口
实例失败诊断部署详情里失败实例面板上的AI 诊断
模型硬件适配模型页每个模型上的 AI 按钮
部署为什么调度不上部署详情里「副本等待节点」提示旁的为什么调度不上
节点健康检查节点详情右上角的AI 健康检查

也可以点顶栏的AI 助手或按 ⌘I / Ctrl+I 打开侧边栏:

  • 空白时会列出当前页面上的对象(正在看的部署、节点、失败实例),需要关注的排在前面并标出原因,点任务按钮即可开始。
  • 下方输入框可以自由提问,默认针对页面上的第一个对象,可以在关于里改选或取消。

每个回答结束后会给出两三个推荐追问,点一下即可;也可以在输入框继续追问。追问会沿用同一个任务和对象,并带上之前的对话。新对话会清空当前对话。

历史会话:每个对话结束一轮回答后会自动保存在当前浏览器(按登录账号区分,最多保留最近 30 个),点侧边栏顶部的历史会话按钮可以列出、打开或删除;打开后在输入框继续提问即可接着聊。会话不在服务端保存,换浏览器或清除站点数据后看不到。

贴图:当前 AI 服务开了支持图片输入时,输入框旁会出现添加图片按钮,也可以直接粘贴截图或把图片拖进输入区,每条消息最多 4 张。图片会先缩到最长边 1568 像素再发送,可以只发图片不写字。追问时之前的图片会一并带上(每次最多 8 张,超出的从最早的开始丢)。服务没开图片输入时不显示该按钮,粘贴图片会提示去设置里检测并打开。

两部分:平台检查和 AI 分析

打开任务后,先读平台检查,再看 AI 对证据的解释:

部分看什么下一步
失败实例的平台检查(不需要 LLM)已知故障、命中的日志行与修法,具体检查范围见下方列表对照具体日志,确认是否适用于当前失败;命中规则是待核实的线索
模型硬件适配(不需要 LLM)在线集群的卡型、可用与故障卡数、最小 TP、精度支持、高速互联组、每卡显存需求和 KV 余量用于选择硬件;能否立即部署仍以部署页的候选节点为准,适配表不代表当前有空闲卡
AI 分析(需要已配置 LLM)根因、证据和建议的修改,例如节点或引擎参数核对对象、日志与建议值,再回到相应页面操作

平台检查可识别的故障包括:

  • 运行资源:显存不足、KV cache 放不下、/dev/shm 不足、磁盘满、端口占用。
  • 通信与文件获取:NCCL / HCCL 通信失败、镜像拉取失败、模型文件缺失、仓库下载失败。
  • 兼容性与参数:GPU 架构或数据类型不支持、需要 --trust-remote-code、引擎不支持模型架构。

AI 分析怎么工作

  1. 确认对象后开始分析。平台按当前任务读取上下文,可对照下面的范围判断是否选对对象:

    • 失败诊断:失败原因、实际启动命令、节点硬件、调度解释、显存拆分、事件与日志。
    • 调度诊断:副本需求、节点约束、放置策略、已有实例和最近拒绝原因,包括各状态候选节点数、最接近的节点及仍缺什么。
    • 节点健康:每卡健康等级与 agent 证据、节点连接与调度状态、实例、节点及 agent 的告警日志。
  2. 查看回答和查询步骤。正文流式显示,工具查询的开始与结束列在步骤列表里;推理型模型的过程折叠在推理过程。 助手可继续查询集群概况、指标、历史日志、卡间互联或同部署健康副本,不需要你先搜集每个接口的结果。

  3. 检查证据是否足够。日志和接口结果有长度上限,截断会注明;失败诊断初始日志最多包含最新 60 行和更早的 40 行 error 日志,总计最多 8 KB。 接口列表默认最多取 20 项、长字符串截到 300 字、单次结果上限 12000 字符;只读到部分列表不代表集群只有这些对象。 若回答没有覆盖故障时段,可追问具体时间、实例或指标,或按指标与日志指南直接核对。查询时间以 UTC 和「多久以前」表示,和本地日志对照时留意时区;可以直接用节点名提问。

  4. 继续、重试或停止。推荐追问和输入框都沿用当前任务、对象与历史;要更换对象,先点击新对话,再在关于中选择对象。 重新分析会读取新状态。关闭侧栏再打开会保留结果,分析中可点停止,已有平台检查不受影响。

查询步骤里常见工具的含义:

工具能读取什么
cluster_overview按状态汇总节点数量与容量、GPU 健康和分配、部署数量,以及离线、降级、失败或待调度的对象
search_api / call_api先找平台只读接口,再读取对象或日志;可继续取需要的字段,避免只依据截断的首屏结果
search_metrics查找指标目录,再读取相应时间段的时序指标
get_node_connection_diagnostics管理员按节点 UUID 读取连接诊断:保存地址、恢复记录、公网入口历史,以及可取得的 Agent 当前观察或 SSH 旁路结果
get_gpu_topology / compare_with_healthy_replica查看节点卡间互联,或比较失败实例与同部署运行中副本的差异

节点连接中、离线或提问涉及连接失败时,助手会被引导先查询连接诊断,再引用检查位置、目标和观测时间。工具复用节点详情的只读诊断,只接受节点 UUID,不接受自定义探测 URL 或 SSH 参数;普通成员无权执行时会返回权限错误。缺少 SSH、Agent 离线或未执行的检查属于证据不足,不能据此认定网络或防火墙故障;历史公网入口不同也不能单独证明旧地址失效。模型未调用工具或结果不完整时,不能把分析当作已确认的根因。

回答结束后会显示首字时间、总耗时、调用次数和 token,用于了解本次分析的开销;server 日志的 ai answer 也记录这些数字。 一次分析最多进行 10 轮、30 次工具调用;达到查询上限仍证据不足时,不要把结论当作已经验证。 同一用户最多同时处理 2 个问题;出现 AI_ASK_BUSY 时等待其中一个结束,再重新发起。

边界

助手使用提问者的权限读取平台,不会执行部署、删除、改参数或任意节点命令。管理员的连接诊断可复用已有只读 SSH 配置检查和 HTTP 健康探测;不会重启、重装、自动恢复或修改地址。地址调整由操作员确认稳定入口,并同步核对平台记录与 Agent 配置。 模型适配数字由平台估算器给出,AI 负责解释;适配表只算权重加引擎预留,未考虑多机部署和量化版本。

可供助手查询的是平台允许的只读接口,包括集群概况、节点 / 部署 / 实例、指标与历史日志。 它不能读取 API key、AI 端点配置、节点 SSH 设置、平台 SSH key、终端及其审计记录、节点文件浏览或外部社区镜像浏览;实时日志使用历史检索接口读取。

发送给模型前,凭证字段和已识别的字符串凭证会替换为 [redacted],包括 token、密码、API key、凭证环境变量、 命令中的凭证参数、URL 用户名密码和 Bearer 令牌。诊断所需的普通数值(如 max_tokens=512)保留。 诊断数据仍会发送给已配置的 AI 服务。

评测

判断一次分析是否有用,应回到原问题验证:证据是否来自当前对象和故障时段,建议的参数或操作是否适用, 执行后实例是否就绪、请求是否恢复,或原调度限制是否解除。需要改配置时由你在对应页面执行,再点重新分析查看新状态。 收到一份回答或平台检查通过,都不代表故障已经修复;证据不足时保留不确定结论,继续查日志或请求记录。

这篇文档有帮助吗?