跳转到正文

ADR 0062: 模板组件跟随主模型落到它所在的共享存储

本文目录

日期:2026-11-11 · 状态:已接受(补充 0034 的决策 4)

背景

推理模板可以由多个组件组成:主模型之外,还有单独发布的文本编码器、投机解码的草稿模型等。ADR 0034 决定共享存储从不被自动写入,只有部署时显式选了「保存到」某个共享存储,创建部署才在它里面发起一次由一个节点写入的下载;没选时,节点取不到模型就下载到默认存储,默认存储是共享存储时则落到本地存储。

当主模型已经在某个共享存储上时,部署表单不再询问「保存到」,请求里也就没有它。模板里还没有的组件于是被每台节点各自下载到本地盘:66.7 GB 的文本编码器在一台节点上就要下一个多小时,多个节点、多个副本时各下一份,共享存储形同虚设。另外,即使选了「保存到」,创建部署时的那次下载也只对主模型发起,组件从不进入共享存储。

决策

  1. 创建部署时,模板的每个非主组件与主模型一样经过存储校验与准入;选了「保存到」时,组件和主模型一起由一个节点下载进所选存储。
  2. 没选「保存到」、主模型已经在某个共享存储上,并且这个存储覆盖全部目标节点、接受新文件时,创建部署把有目标节点读不到的组件下载一份到这个存储(同样由一个节点写入)。有多个这样的存储时,默认存储优先,再按存储 ID。这个组件已经在被别人写入这个存储时不算:本部署的节点不等别人的写入(见第 4 条),所以这时各节点自行获取。
  3. 部署仍只记请求里明确选的存储(deployments.weight_storage_id 保持为 0),评估、预览与创建按同一份记录规划;第 2 条只是创建时的一次动作,不从模型所在的位置推导部署的「保存到」。
  4. store.ModelSourceOn 在部署没选「保存到」时,节点读得到的共享存储里正在进行一次由本部署发起的写入,就等它写完再读,而不是按默认顺序另取一份;别人发起的写入(另一个部署、模型仓库里的手动下载)不等,评估与预览也不等。选了「保存到」(包括本地存储)时仍按所选的来。写入失败后回到原来的顺序。
  5. 自动写入不能是静默的:评估接口的 acquisition.components[] 按组件给出获取预估(已就绪、一次写入共享存储、各节点自行下载),与创建时按同一份规划行事;部署表单在「组件权重」里显示它,跟随主模型写入共享存储的组件单独标出存储、占用与避免的办法。创建时真正发起的组件写入记一条部署时间线 DEPLOYMENT_COMPONENT_DOWNLOAD,写明组件、存储与写入节点。

后果

  • 只有「主模型已在共享存储、组件哪里都没有、请求没选保存到」这一种情况会自动写入共享存储;其他情况与 ADR 0034 相同。
  • 没选「保存到」的部署只等自己发起的共享写入。写入节点卡住时,受影响的只有发起它的那个部署,它要等写入失败才回到本地获取;其他部署不受牵连。代价是两个部署几乎同时创建、都缺同一个组件时,后创建的那个各节点自行下载。
  • 组件的元数据检查加入创建时的准入,模型源读不到时创建会直接失败,不再等到启动时才卡住。
  • 用户在部署前就能看到哪个组件会写进哪个共享存储、占多少空间;事后在时间线上能查到这次写入。
  • 不做的:把同样的规则推广到主模型(主模型没有现成的共享副本可以「跟随」);写入长时间无进度时自动放弃等待(另行处理);按存储剩余容量挑选。

这篇文档有帮助吗?