Skip to content

Commit c889163

Browse files
committed
docs(zh): sync bound component versions in RECIPES_zh.md
Translate the binder step that writes the master versions of script-installed components as ROUTER_VERSION or KV_OFFLOAD_BACKEND_VERSION, and the fragment rejection of those variables and of setup scripts no staged configs/ holds, from RECIPES.md.
1 parent f905453 commit c889163

1 file changed

Lines changed: 2 additions & 1 deletion

File tree

  • inferencex-e2e/benchmarks/multi_node/srt-slurm-recipes

‎inferencex-e2e/benchmarks/multi_node/srt-slurm-recipes/RECIPES_zh.md‎

Lines changed: 2 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -58,8 +58,9 @@ TileRT 使用固定版本的上游 srt-slurm 子模块。配置指定 `roles.pre
5858
1. 通道的共享块([`configs/srt-recipes/`](../../../configs/srt-recipes) 中的 `fixed-sequence-{single,multi}.yaml` 或 `agentic-{single,multi}.yaml`)合并到片段之下(配置集合则合并到 `base` 之下)。共享块设置基准测试客户端,多节点定长序列共享块还将 `benchmark.env.TOKENIZER` 指向挂载的检查点 `/model`。`power: true` 的多节点主配置行还会合并 [`telemetry-dcgm.yaml`](../../../configs/srt-recipes/telemetry-dcgm.yaml),其导出器使用集群的 `srt-slurm.power-exporter-port`;该通道必须允许功耗测量(`POWER_LANES`)。片段优先:映射逐层合并,列表整体替换,因此片段可以保留 `collector_join_timeout_seconds` 等遥测调优参数。
5959
2. 主配置行的选择器选出变体。单节点变体可以声明自身的 `benchmark.env.CONC`,使该并发数与其调优参数保持配对。
6060
3. 绑定器([`workload.py`](../../../infx/srt_slurm/workload.py))将矩阵测试点写入选中的配置:`model.path: hf:<model>`、`model.container: <image>` 和 `model.precision`;片段声明了 `identity.container`/`identity.model` 时写入 `identity.container.image`(采用镜像仓库引用形式)和 `identity.model.repo`;启用遥测时写入 `benchmark.concurrencies`。定长序列配置还会获得 `benchmark.env.ISL`/`OSL`;单节点配置获得 `MODEL` 和 `CONC`,其中定长序列配置还获得 `RANDOM_RANGE_RATIO` 和 `USE_CHAT_TEMPLATE`(当且仅当配置启用投机解码时为 `true`)。多节点 AgentX 配置从启动器获得客户端的 `RESULT_DIR`、`AIPERF_DATASET_MMAP_CACHE_DIR` 和 `HF_HUB_CACHE`,启动器根据其挂载的卷(`volume-mounts`、`agentic-volume-mounts` 和通道挂载)推导这些路径;设置了 `HF_HOME` 的片段保留自身的缓存。多节点客户端从作业环境读取 `CONC_LIST`、`CONC`、`MODEL` 等矩阵输入,因此片段无需复制这些值;单节点 AgentX 测试点则通过运行时参数获得它们。
61+
4. 由仓库 setup 脚本安装的组件使用主配置中的版本。当 `setup_script` 或运行 `/configs/<script>` 的服务 `preamble` 属于绑定器 `INSTALLERS` 中的安装脚本时,绑定器将该测试点的 `router` 或 `kv-offload-backend` 版本以 `ROUTER_VERSION` 或 `KV_OFFLOAD_BACKEND_VERSION` 写入顶层 `environment`(作用于 worker 和静态路由器),或写入该服务的 `env`(服务不继承 `environment`);脚本通过 `check_env_vars` 读取该值。未声明该版本的测试点会失败;`SETUP_PIP_PACKAGES` 中的 `vllm-router==` 固定版本必须与主配置的路由器版本一致。
6162

62-
片段若设置了上述任一绑定键、`telemetry.enabled`、`benchmark.env.CONC_LIST` 或 AgentX 客户端路径(`RESULT_DIR`、`AGENTIC_OUTPUT_DIR`、`HF_HUB_CACHE`、`HUGGINGFACE_HUB_CACHE`,多节点还包括 `AIPERF_DATASET_MMAP_CACHE_DIR`),即使取值相同,也会在提交前失败。`hf:<model>` 解析为集群预置的检查点(`models.entries`),除非 `models.OVERRIDES` 中的某一行改用 Hub 快照;主配置镜像解析为预置的容器,因此配置不再引用别名。
63+
片段若设置了上述任一绑定键、`telemetry.enabled`、`benchmark.env.CONC_LIST`、任一 env 中的 `ROUTER_VERSION` 或 `KV_OFFLOAD_BACKEND_VERSION`,或 AgentX 客户端路径(`RESULT_DIR`、`AGENTIC_OUTPUT_DIR`、`HF_HUB_CACHE`、`HUGGINGFACE_HUB_CACHE`,多节点还包括 `AIPERF_DATASET_MMAP_CACHE_DIR`),即使取值相同,也会在提交前失败。`setup_script` 既不在 [`configs/`](configs) 中,也不在固定版本 srt-slurm checkout 的 `configs/`(或二者的 `patches/`)中时,同样会失败:srtctl 本身只会发出警告,并在不运行该脚本的情况下启动作业。`hf:<model>` 解析为集群预置的检查点(`models.entries`),除非 `models.OVERRIDES` 中的某一行改用 Hub 快照;主配置镜像解析为预置的容器,因此配置不再引用别名。
6364

6465
配置不硬编码集群硬件信息:配置中任意位置的 `'@fabric.<name>'` 值在绑定后替换为作业所在集群的 `srt-slurm.fabric` 字段(列表以逗号连接;字段见 [CONFIGS.md](../../../configs/CONFIGS.md#runners))。schema 未定义的名称、嵌在更长字符串中的引用,或集群未设置的字段,都会在提交前失败;生成矩阵时,若某行选中的变体所引用的字段在其运行器标签可达的任一集群上未设置,也已失败。启动前不会解析引用:配置指纹按原样对引用计算哈希,因此与集群无关。配置有意选择的值(例如重新排列的 rail 顺序或设备子集)保持字面值。
6566

0 commit comments

Comments
 (0)