File tree Expand file tree Collapse file tree
benchmarks/multi_node/srt-slurm-recipes Expand file tree Collapse file tree Original file line number Diff line number Diff line change @@ -22,8 +22,8 @@ qwen3.5/trtllm/gb300-fp4/agentx/disagg-variants.yaml
2222- 工作负载目录为 ` 1k1k ` 、` 8k1k ` 或 ` agentx ` 。已有的跨序列长度配置集合放在 ` fixed-seq-len ` 下,保留其覆盖项选择器。
2323- 文件名使用小写字母和连字符,以 ` agg ` 或 ` disagg ` 开头。包含拓扑及用于区分同目录配置的关键参数,例如并行方式、批大小、并发数、MTP、卸载或缓存设置。避免日期、带序号的延迟/吞吐量标签,以及重复目录中已有的模型或硬件信息。
2424- 拓扑名中的 ` 1p4d ` 表示预填充/解码 worker 数,不一定等于物理节点数。` p-tp4 ` 和 ` d-tp8 ` 分别标识预填充和解码 TP;` b ` 表示批大小,` c ` 表示并发数。运行参数以 YAML 为准。
25- - 覆盖项集合使用 ` *-variants.yaml ` 命名。仅在各配置间存在差异的多节点 AgentX 配置,按主配置条目合并为一个集合,通常为 ` agg-variants.yaml ` 或 ` disagg-variants.yaml ` :` base ` 保存共享设置,每个原配置成为一个具名 ` override_<name> ` 块,只包含其差异(使用普通覆盖项,而非 ` zip_override_* ` )。主配置通过 ` CONFIG_FILE=recipes/<dir>/< bundle>.yaml:override_<name>` 选择其一。启动器以文本方式读取的配置(例如带顶层 ` telemetry: ` 的功耗配置)保持独立文件。即使内容相同,也保留独立扫描入口:配置路径参与评估分组。Qwen3.5 的 ` *-stp-sweep.yaml ` 和 ` *-mtp-sweep.yaml ` 保留了这一既有区别。
26- - 移动文件时,同步更新当前及已弃用主配置中的 ` CONFIG_FILE ` 、` EVAL_CONFIG_FILE ` ,以及启动器路径规则、工作流过滤器和本地文档。保留上游来源 URL,并保持历史性能变更日志不变。不为旧目录结构提供别名。
25+ - 覆盖项集合使用 ` *-variants.yaml ` 命名。仅在各配置间存在差异的多节点 AgentX 配置,按主配置条目合并为一个集合,通常为 ` agg-variants.yaml ` 或 ` disagg-variants.yaml ` :` base ` 保存共享设置,每个原配置成为一个具名 ` override_<name> ` 块,只包含其差异(使用普通覆盖项,而非 ` zip_override_* ` )。主配置行通过 ` srt-recipe: < bundle>.yaml:override_<name>` 选择其一,路径相对于条目的 ` srt-recipe-dir ` 。启动器以文本方式读取的配置(例如带顶层 ` telemetry: ` 的功耗配置)保持独立文件。即使内容相同,也保留独立扫描入口:配置路径参与评估分组。Qwen3.5 的 ` *-stp-sweep.yaml ` 和 ` *-mtp-sweep.yaml ` 保留了这一既有区别。
26+ - 移动文件时,同步更新主配置中的 ` srt-recipe-dir ` 、` srt-recipe ` 和 ` eval-srt-recipe ` 引用 ,以及启动器路径规则、工作流过滤器和本地文档。保留上游来源 URL,并保持历史性能变更日志不变。不为旧目录结构提供别名。
2727
2828共享运行时资源保留在模型目录旁的 ` configs/ ` 中,不属于独立基准测试配置。` configs/dsv4-moe-load-balancer-configs/ ` 中的四个文件原样取自 NVIDIA/srt-slurm 提交 ` deb1dfd9934398664f92d194169c183e009da83b ` ,保留了此前 DSV4 TRT 配置使用的 EPLB 初始专家分配;目前没有已提交的配置引用这些文件。srt driver([ ` infx/launch/drivers/srt/checkout.py ` ] ( ../../../infx/launch/drivers/srt/checkout.py ) )将这些文件复制到作业仓库的 ` configs/ ` 目录,供配置中的绑定挂载使用。将配置文件放入本目录不会启用该配置;实际基准测试矩阵由主配置决定。
2929
@@ -43,7 +43,8 @@ TileRT 使用固定版本的上游 srt-slurm 子模块。配置指定 `roles.pre
4343| ` roles.prefill.args.ep-size ` (SGLang) | ` prefill.ep ` |
4444| ` roles.prefill.args.enable-dp-attention ` | ` prefill.dp-attn ` |
4545| ` benchmark.concurrencies ` | ` conc-list ` |
46- | 配置路径,可附带覆盖项选择器 | ` additional-settings: CONFIG_FILE=recipes/...yaml ` |
46+ | 配置目录,相对于本目录 | 条目级 ` srt-recipe-dir ` |
47+ | 配置文件,可附带 ` base ` 、` override_<name> ` 或 ` zip_override_<name>[<index>] ` 选择器 | 搜索空间条目的 ` srt-recipe ` ;仅评估的真实验证使用 ` eval-srt-recipe ` |
4748
4849配置文件和主配置必须同步更新。启动器执行配置文件;主配置提供结果标签和调度元数据。聚合式配置使用 ` roles.agg ` ;` roles.decode.nodes: colocate ` 表示解码角色与预填充角色共享节点,不增加调度所需的工作节点数。
4950
Original file line number Diff line number Diff line change @@ -218,7 +218,7 @@ flowchart LR
218218
219219| 驱动 | 运行内容 |
220220| --- | --- |
221- | [ ` drivers/srt/ ` ] ( ../infx/launch/drivers/srt ) | 单节点和多节点 srt-slurm 方案(` SRT_RECIPE ` 、 ` CONFIG_FILE ` ),包括集群维护的 B200 Nscale 通道;仅限 Slurm |
221+ | [ ` drivers/srt/ ` ] ( ../infx/launch/drivers/srt ) | 单节点和多节点 srt-slurm 方案(` SRT_RECIPE ` ,多节点仅评估运行另加 ` EVAL_SRT_RECIPE ` ),包括集群维护的 B200 Nscale 通道;仅限 Slurm |
222222| [ ` drivers/script.py ` ] ( ../infx/launch/drivers/script.py ) | 带显式 ` BENCH_SCRIPT_OVERRIDE ` 的单节点运行,例如 SPEED-Bench 采集脚本:通过后端接口运行一个容器,适用于任何后端;其他调度器上的集群只运行这个驱动 |
223223
224224根据驱动不同,启动器可能会:
Original file line number Diff line number Diff line change @@ -113,7 +113,7 @@ python3 -m infx.evals.validate_scores --model-prefix "$MODEL_PREFIX" \
113113
114114必须在** 启动服务前** 设置 ` EVAL_ONLY=true ` 。它不仅是评估命令内部的开关:
115115
116- 1 . 对单节点定长序列作业,srt binder 会把服务上下文设为矩阵中的 ` MAX_MODEL_LEN ` (` isl + osl + 256 ` ),SGLang 使用 ` context-length ` ,TRT-LLM 使用 ` max_seq_len ` 和 ` max_num_tokens ` ,vLLM 与 ATOM 使用 ` max-model-len ` 。AgentX 测试点和多节点作业保留配方自身的上下文,多节点作业还可选择用于真实验证的 ` EVAL_CONFIG_FILE ` 。
116+ 1 . 对单节点定长序列作业,srt binder 会把服务上下文设为矩阵中的 ` MAX_MODEL_LEN ` (` isl + osl + 256 ` ),SGLang 使用 ` context-length ` ,TRT-LLM 使用 ` max_seq_len ` 和 ` max_num_tokens ` ,vLLM 与 ATOM 使用 ` max-model-len ` 。AgentX 测试点和多节点作业保留配方自身的上下文,多节点作业还可选择用于真实验证的 ` eval-srt-recipe ` 。
1171172 . 仍会运行健康检查。在仅评估作业中,厂商评估框架还会在 ` EVAL_ENDPOINT_READY_TIMEOUT_SECONDS ` 内等待服务模型出现在 OpenAI chat 路由上。
1181183 . 跳过吞吐量测试。
1191194 . ` python3 -m infx.bench eval ` 按 ` EVAL_MAX_MODEL_LEN ` 确定每个 lm-eval 请求的预算。未设置时使用 ` MAX_MODEL_LEN ` ,并以模型原生上限为界。
You can’t perform that action at this time.
0 commit comments