| Skill | 功能 |
|---|---|
eval |
自动调度 GPU、启动 SGLang,并使用 EvalScope 运行指定数据集评测。 |
bench-serving |
自动选卡、启动 SGLang,运行随机输入的 bench_serving 吞吐与延迟压测,并在结束后释放资源。 |
tracing |
自动选卡、启动 SGLang,关闭 prefill/decode CUDA graph,采集 1 个 prefill 和 2 个 decode step 的 Torch Profiler trace,并在结束后释放资源。 |
compare-eval |
将 SGLang 环境变量展开为参数矩阵,自动调度多组 EvalScope 对照实验并汇总结果。 |
compile-sglang |
在 HCU/ROCm 环境中编译并安装 SGLang、sgl-kernel 及相关依赖。 |
experimental-bug-investigation |
通过真实复现和可证伪实验调查 Bug,持续记录证据、根因与验证结果。 |
bug-experience-writing |
将已解决且已验证的 Bug 提炼为简洁经验条目;由 Bug 调查流程内部调用。 |
hello-skill |
生成一句问候,用于验证 Skill 的发现和调用。 |
在 Copilot Chat 中输入 /eval,指定数据集并粘贴完整的 SGLang 启动命令:
/eval 使用下面的服务命令测试 humaneval
export SGLANG_ENABLE_SPEC_V2=1
unset NCCL_TOPO_FILE
sglang serve --model-path /models/Qwen3.6-35B-A3B \
--tp-size 2 \
--mem-fraction-static 0.8
eval 会等待可用 GPU、选择端口、启动并检查服务,然后运行 HumanEval 评测。
在 Copilot Chat 中输入 /bench-serving 并粘贴完整启动命令,可运行性能压测:
/bench-serving 使用下面命令测试,长度 4096/1024,并发 1,2,4,8,16,32,64,128
export SGLANG_ENABLE_SPEC_V2=1
sglang serve --model-path /models/Qwen3.6-35B-A3B \
--tp-size 2 \
--mem-fraction-static 0.9
bench-serving 根据 TP/PP 自动等待并锁定 GPU,选择端口,检查服务健康状态,
生成逐并发日志和 all.csv,最后停止服务并释放 GPU 锁。
在 Copilot Chat 中输入 /tracing 并粘贴完整的 SGLang 启动命令,可采集算子调用 trace:
/tracing 使用下面命令采集 trace
sglang serve --model-path /models/Qwen3.6-35B-A3B \
--tp-size 2 \
--mem-fraction-static 0.9
tracing 会自动等待并锁定所需 GPU,选择端口,关闭 prefill/decode CUDA graph,
采集短 Torch Profiler trace,最后停止服务并释放 GPU 和端口资源。