Skip to content

feat(llama.cpp): 将 example 看护迁到共用引擎 - #221

Merged
hipudding merged 5 commits into
Ascend:mainfrom
licy666:feat/llama.cpp-examples-guard
Oct 15, 2026
Merged

hipudding merged 5 commits into
Ascend:mainfrom
licy666:feat/llama.cpp-examples-guard

Conversation

@licy666

@licy666 licy666 commented Oct 12, 2026

Copy link
Copy Markdown
Contributor

Summary

  • 把 llama.cpp 的 example 看护从 cosdt-ci-test/workflows 迁到本仓共用引擎。源仓那份整段流水线不搬,只留下清单、项目脚本、fixtures 和薄触发器。
  • 权重改为先直连 huggingface.co,失败再走 ModelScope。Dream 的 GGUF 在 diffusion 这条腿里下载并转换,不再依赖源仓预投递,也不再单独占一个前置 job。
  • simple-chat 不再修改上游源码,成功条件只看进程是否 0 退出。其余打开 CANN 的条目仍然要求日志里出现 CANN 后接数字,避免静默退回 CPU 却报绿。
  • schedule 保持注释。上游默认分支是 master,触发器在发布查询失败时回落到 master。

Test plan

  • 本机 actionlint 通过,且 workflow 里没有 heredoc
  • 本 PR 触发 llama.cpp-examples,manifest-check 展开全部 19 条 supported
  • 抽一条单卡 cann 条目:镜像能起,编出 libggml-cann,日志里有 CANN 后接数字
  • simple-chat 只以退出码 0 判定,不把它当成昇腾卡已经工作的证据
  • diffusion 若卡在下载或转换,按下载噪音归类,不把条目改成 unsupported
  • 合入前不打开 schedule,源仓同项目的定时看护继续负责生产

源仓整份流水线不搬。权重改为直连 Hugging Face,失败再走 ModelScope。simple-chat 不再改上游源码。
PR 上已确认的 CANN 算子中止、以及不改上游就无法证明设备或无法退出的条目改为 unsupported。定时定为每天 UTC 19:00,避开 accelerate。
Dream 权重已经下完并转成 GGUF,随后在 FusedInferAttentionScore 的 key 不连续错误上中止。不改上游源码修不了。
分组注释改成逐条说明。idle、sycl、training、simple-chat、retrieval 引用 v0.6.0 源码位置,跑挂的条目附错误码和 CI 作业链接。
@Devin-DC-Huang

Copy link
Copy Markdown
Contributor

死代码 #1:setup_cann-diffusion (setup_example.sh L117-124)
setup_example.sh:117-124

死代码 #2:prepare_dream_gguf.py (整个 219 行文件)

建议清除未使用代码

diffusion 已在 unsupported,setup_cann-diffusion 和转换脚本没有调用方。
@hipudding
hipudding merged commit ebc22ea into Ascend:main Oct 15, 2026
21 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

3 participants