Skip to content
zhengyq-gitPublic
forked from Zhuwenbopro/skills

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

 
 

Repository files navigation

Copilot Skills

Skill 功能
eval 自动调度 GPU、启动 SGLang,并使用 EvalScope 运行指定数据集评测。
bench-serving 自动选卡、启动 SGLang,运行随机输入的 bench_serving 吞吐与延迟压测,并在结束后释放资源。
tracing 自动选卡、启动 SGLang,关闭 prefill/decode CUDA graph,采集 1 个 prefill 和 2 个 decode step 的 Torch Profiler trace,并在结束后释放资源。
compare-eval 将 SGLang 环境变量展开为参数矩阵,自动调度多组 EvalScope 对照实验并汇总结果。
compile-sglang 在 HCU/ROCm 环境中编译并安装 SGLang、sgl-kernel 及相关依赖。
experimental-bug-investigation 通过真实复现和可证伪实验调查 Bug,持续记录证据、根因与验证结果。
bug-experience-writing 将已解决且已验证的 Bug 提炼为简洁经验条目;由 Bug 调查流程内部调用。
hello-skill 生成一句问候,用于验证 Skill 的发现和调用。

调用案例

在 Copilot Chat 中输入 /eval,指定数据集并粘贴完整的 SGLang 启动命令:

/eval 使用下面的服务命令测试 humaneval

export SGLANG_ENABLE_SPEC_V2=1
unset NCCL_TOPO_FILE
sglang serve --model-path /models/Qwen3.6-35B-A3B \
  --tp-size 2 \
  --mem-fraction-static 0.8

eval 会等待可用 GPU、选择端口、启动并检查服务,然后运行 HumanEval 评测。

在 Copilot Chat 中输入 /bench-serving 并粘贴完整启动命令,可运行性能压测:

/bench-serving 使用下面命令测试,长度 4096/1024,并发 1,2,4,8,16,32,64,128

export SGLANG_ENABLE_SPEC_V2=1
sglang serve --model-path /models/Qwen3.6-35B-A3B \
  --tp-size 2 \
  --mem-fraction-static 0.9

bench-serving 根据 TP/PP 自动等待并锁定 GPU,选择端口,检查服务健康状态, 生成逐并发日志和 all.csv,最后停止服务并释放 GPU 锁。

在 Copilot Chat 中输入 /tracing 并粘贴完整的 SGLang 启动命令,可采集算子调用 trace:

/tracing 使用下面命令采集 trace

sglang serve --model-path /models/Qwen3.6-35B-A3B \
  --tp-size 2 \
  --mem-fraction-static 0.9

tracing 会自动等待并锁定所需 GPU,选择端口,关闭 prefill/decode CUDA graph, 采集短 Torch Profiler trace,最后停止服务并释放 GPU 和端口资源。

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages