跳转到正文

在节点之间同步模型和镜像

本文目录

本文说明怎样复制已有的模型或推理镜像,并检查同步结果。

适用场景:已有完整副本,希望避免重复公网下载;或排查 NO_STORAGE_PATH、传输连接测试不通、停在 download_required 等问题。本页的手动复制不受同步组限制。

前置条件:

  • 来源持有完整副本(本地模型为 present 或 registered,共享存储中的模型为 present,镜像已存在于运行时)。目标模型存储可写且适用于执行节点。
  • 跨节点传输:源节点和目标节点都在线,且有共同的存储同步网络,或都允许管理网承担存储同步,见配置节点网络。
  • 同节点复制模型:执行节点在线,能读取源存储并写入目标存储,无需配置节点间的存储同步网络。
  • 自动复制只发生在同组节点之间,分组与限速见配置镜像拉取。
  • 模型的注册与其他获取方式见下载、缓存和节点间同步模型。

副本启动时,本机没有而同组在线节点持有的模型或镜像可自动复制,失败后改为拉取或下载。下面的手动复制使用你确认的源节点;源失效时不会静默换节点或改走公网。

同步一个模型或镜像

模型

  1. 在模型页对应行点击复制到…,在源中确认持有完整副本的本地存储与节点。下载完成和登记已有路径的完整副本都可使用。
  2. 选择可写的目标本地存储与目标节点。按需填写限速,单位 MiB/s;留空或 0 表示不另设限速,中继仍受下述平台上限约束。
  3. 点击开始复制。此弹窗没有独立的测试传输连接步骤,复制时优先尝试直连;在模型详情查看目标节点进度,完成后确认状态为 present。

复制到… 也支持共享存储作为源或目标。选择共享目标时不需要指定目标节点,平台会选择执行节点;能在同一节点读写时直接拷贝,否则使用节点间传输。不要把共享存储复制都当作两台节点之间的直连。同节点读写不会经过 peer 或 Server 中继;NFS 等共享盘本身仍可能使用存储网络。

镜像

  1. 在镜像详情的目标节点行发起同步,确认源节点。
  2. 点击测试传输连接。直连或中继测试通过后才允许同步,成功提示会注明路径;测试只验证 TLS 与令牌握手,不传镜像文件,也不创建同步任务记录;实际同步仍会重新握手。
  3. 按需填写限速,然后发起同步。在目标节点行查看进度,确认镜像已导入并显示为已有。

每次复制的限速独立设置,API 字段 rate_limit_kib_s 使用 KiB/s。多目标各自限速;任务结束后清除活动限速,失败记录保留上次限速供重试。

走哪张网

两个节点之间用哪张网由 server 按节点对选定,规则见配置节点网络:

  • 两端共同的存储同步网络优先;否则两端都允许管理网承担存储同步时走管理网。
  • 目标只在该网络的地址上接收,源节点从本端在该网络的地址发起,并按一次性证书指纹校验。
  • 两端没有可用的共同网络时报 NO_STORAGE_PATH;自动复制会跳过该源,副本改为自己拉取或下载;手动指定该源时报该错误。镜像可先用测试传输连接检查;模型以复制任务的连接结果为准。
  • 优先尝试所选网络上的直连。所有候选地址均无法建立 TCP 连接时,仅在两端都允许管理网承担存储同步、agent 支持中继且独立数据通道可用时,经管理服务器中继。TLS 指纹、令牌、读写或校验失败不会触发切换,也不会在传输中途换路。
  • 要求只走直连时,在任一端关闭管理网的存储同步权限,并配置共同的专用存储同步网络。此设置也禁止管理网中继;不会用中继绕过网络隔离。
  • Agent 发起连接时,数据通道是 Agent 向相同 Server 地址发起的另一条连接;Server 发起连接时,是 Server 再次拨入 Agent 的同一固定监听端口。两种方式及其混合连接都不需要为中继另映射端口;Server 发起连接不要求 Agent 反向访问 Server。两端都需升级 Agent 并建立独立数据通道;旧版或单通道节点仍只能直连,控制连接不会代传文件。
  • 中继不落盘,每节点最多一个、每个 Server 进程最多两个并发中继。默认中继总预算为 64 MiB/s,由并发任务共享;用户或同步组设置更低限速时仍受更低上限约束。预算约束 Server 转发的加密流,不是网卡线速保证。
  • 自动复制最终失败的节点对,server 在内存里冷却 3 小时,期间不再尝试复制;重启 server 清空冷却。

中继资源预算与观测

中继繁忙是管理节点的暂时容量状态。任务按到达顺序排队等待中继名额,每次最多等 1 分钟,期间阶段显示「等待中继容量」;仍未轮到时保留已选择的源与限速并重试,重试保留原来的排队位置。节点繁忙的任务不会挡住其他节点对的任务。不会仅因中继繁忙将节点对冷却 3 小时或改为公网下载。取消会终止当前 Server 协调任务及其两端,旧尝试的回报不能重新启动传输或覆盖后续重试。

默认转发阶段连续 2 分钟没有进展会中止并释放额度;Server 自身等待带宽额度的时间不计为无进展。源方向的数据实际转发完毕后,才进入默认 5 分钟的目标确认预算。限速和两个超时属于当前管理节点的机器配置,可在 Server 配置参考中查看;修改后重启生效。

展开模型或镜像节点行,可查看本次尝试的实际路径、阶段、回落原因及中继额度。Server 速率使用明确的近期窗口;它与目标节点从接收器启动以来计算的平均接收速率分别展示。旧版 Agent、Server 重启或已结束的尝试可能没有当前运行观测,此时显示未知,不能据此判断任务失败。

Server 观测中的向目标/源端转发量是内层 TLS 流字节,包含握手和协议开销;它不是已校验文件字节,也不包含外层 yamux、WebSocket、TCP 的全部开销。不得把同一数据在 Server 的收、发两次计成两份模型。资源就绪仍以目标节点确认的文件清单或运行时导入结果为准。

当前进程的有效预算、活动中继、带宽额度等待及累计结果可通过带鉴权的 GET /api/v1/peer-transfers 读取,按 transfer_id 可查单次尝试。阶段事件进入日志中心,通过传输 ID 关联;聚合指标复用现有监控。运行观测不跨 Server 重启回补历史,也不把传输 ID、路径或节点对作为持续增长的时序标签。

镜像在不同运行时之间同步

Docker、nerdctl 与 runveil 节点之间镜像可互为源和目标。runveil 导出的是 OCI 布局加 manifest.json 的归档(与 Docker 29 docker save 同形),层按 registry 原样的压缩字节发送,manifest digest 在两端一致;它只能发送自身镜像存储里完整的镜像,旧 udocker CLI 登记的镜像需重新拉取或导入。

重试与恢复

  • 源节点离线或副本不完整时,任务会失败或停在 download_required。恢复原源后可重试;要换源,重新选择完整副本发起复制。重试沿用失败记录里的源节点和上次限速,后台不会自动重试普通失败的手动选源任务;中继暂时繁忙时的排队等待除外。
  • 模型同步可在目标节点行取消;取消请求会停止接收,若页面提示停止未确认,先处理该任务,不要把部分文件登记为完整副本。镜像取消停止的是目标接收与运行时导入(Docker 上为 docker load),不能将其等同于模型下载续传。
  • 镜像同步在 server 或节点重连后,若该传输两分钟内仍有进度则沿用原传输,否则用原源节点和限速从零重新开始。
  • 公网下载失败后,若有在线节点持有完整副本,仍可再手动走一次节点间同步,不会永久卡在失败状态。

节点间传输由目标 agent 提供一次性 TLS 接收端。直连与中继都保留源、目标之间的 TLS 1.3、固定证书指纹、一次性令牌以及字节数与 SHA256 确认;server 中继时只转发加密字节。中继不提供断点续传,连接中断后整次传输从头重试。

镜像弹窗显示本次连接测试的直连或中继路径;实际同步会重新选路。模型传输的实际路径可在 server 同步日志的 transport=direct 或 transport=relay 中确认。网络页的 TCP 内部测试始终验证节点间真实直连,中继成功不代表 TCP 互测已通。此能力只用于模型与镜像文件,不提供 NCCL/Gloo、RDMA 或跨节点推理的网络互通。

模型完成后重新校验文件清单;镜像以目标运行时完成导入并确认镜像存在为准。

这篇文档有帮助吗?