Skip to content

[das] ci: skip known failing TensorFlow tests - #15

Merged
Xyzhao1999 merged 1 commit into
HYGON-AI:r2.13-dasfrom
Silence0218:fix/hcu-ci-skip-failing-tests
Oct 13, 2026
Merged

Xyzhao1999 merged 1 commit into
HYGON-AI:r2.13-dasfrom
Silence0218:fix/hcu-ci-skip-failing-tests

Conversation

@Silence0218

@Silence0218 Silence0218 commented Oct 12, 2026 •

Copy link
Copy Markdown
Contributor

📝 Summary of Changes

This PR updates the TensorFlow HCU CI test workflow to restore full Python and C++ Bazel test coverage while temporarily excluding confirmed failing targets.

  • Restores the full Python test list from scripts/ci/pytest.sh, containing 1490 Bazel targets.
  • Runs the full C++ test list from scripts/ci/ctest.sh, containing 1115 Bazel targets.
  • Records the selected and skipped targets in separate CI artifacts.
  • Keeps explicitly specified targets exempt from skip-list filtering, allowing skipped tests to be rerun individually for diagnosis.

🎯 Justification

The previous CI workflow only reran a reduced set of previously failing Python tests and therefore did not provide complete regression coverage.

This change restores the approved full TensorFlow Python and C++ test suites while isolating currently known failures in a centralized skip list. It allows CI to continue collecting full test results without repeatedly running targets that have already been confirmed as incompatible or unstable on the current HCU environment.

The skip list is temporary and keeps the excluded targets available for explicit individual reruns and subsequent diagnosis.

🚀 Kind of Contribution

♻️ Cleanup
📚 Documentation
🧪 Tests

@Silence0218
Silence0218 deployed to ci-protection October 12, 2026 12:58 — with GitHub Actions Active

@hygon-ai-reviewer hygon-ai-reviewer Bot left a comment

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

AI Review

🟢 未发现有明确证据的问题

在已提供并完成审查的 diff 范围内未形成可确认问题。

变更概览

本次变更主要包含:

  • 新增 scripts/ci/hcu_test_skip_targets.txt,集中列出默认 CI 跳过的 48 条 Python 与 3 条 C++ 测试 target;同步更新文档说明 CI 改为加载全量测试清单并按该清单过滤,pytest_failed.sh 注释改为历史记录说明。
  • 默认测试选择分支的 Python 测试命令文件改为默认使用 pytest.sh,预期命令数从 48 提升到 1490,并移除了旧环境变量名的回退。
  • 新增 Bazel 跳过测试目标列表文件的加载与校验(文件存在、数量为 51、目标以 // 开头、无重复),仅在默认目标选择分支生效。
  • 本批代码在 CI 测试运行脚本中新增按跳过列表过滤 Bazel 测试目标的功能:加载测试命令时将命中跳过列表的目标分流入 skipped 列表并过滤,校验跳过目标的格式、重复与匹配完整性,过滤后无剩余目标时报错终止,并将跳过目标写入独立日志文件。
文件审查摘要
文件 变更 审查结果
scripts/ci/run_tensorflow_hcu_tests.sh 修改 · +83/-3 —
scripts/ci/hcu_test_skip_targets.txt 新增 · +61/-0 —
docs/das/BUILDING.md 修改 · +8/-5 —
scripts/ci/pytest_failed.sh 修改 · +3/-3 —
审查信息
  • 变更统计:4 个文件,+155/-11。
  • 覆盖情况:共 4 个文件,已完整审查 4 个。
  • 候选问题:0 项;证据复核过滤:0 项;发布前敏感信息保护:0 项。
  • 本服务以 GitHub 提供的 PR diff 为审查主体,PR 描述与按相关性选取的仓库片段仅用于核验;未执行代码或重跑测试,结论仍需维护者核验。

@hygon-ai-reviewer hygon-ai-reviewer Bot left a comment

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

AI Review

🟢 未发现有明确证据的问题

在已提供并完成审查的 diff 范围内未形成可确认问题。

变更概览

本次变更主要包含:

  • 新增 scripts/ci/hcu_test_skip_targets.txt 跳过清单,列出 CI 默认跳过的已知失败 Bazel 测试 target(48条 Python、3条 C++)。
  • 更新 docs/das/BUILDING.md:HCU 测试说明改为按跳过清单过滤默认执行,并移除最多两张 HCU 卡的示例段落。
  • 删除了 scripts/ci/pytest_failed.sh,该脚本原用于独立重跑 CI 初次全量运行中失败的 TensorFlow bazel 测试并报告剩余失败项。
  • 默认CI测试路径新增Bazel跳过目标列表机制:从skiptargets文件加载51个已知失败目标并在执行前过滤,同时默认Python测试命令源改为全量pytest.sh并按清单严格校验跳过目标数与匹配性。
文件审查摘要
文件 变更 审查结果
scripts/ci/run_tensorflow_hcu_tests.sh 修改 · +83/-3 —
scripts/ci/hcu_test_skip_targets.txt 新增 · +61/-0 —
scripts/ci/pytest_failed.sh 删除 · +0/-56 —
docs/das/BUILDING.md 修改 · +6/-12 —
审查信息
  • 变更统计:4 个文件,+150/-71。
  • 覆盖情况:共 4 个文件,已完整审查 4 个。
  • 候选问题:0 项;证据复核过滤:0 项;发布前敏感信息保护:0 项。
  • 本服务以 GitHub 提供的 PR diff 为审查主体,PR 描述与按相关性选取的仓库片段仅用于核验;未执行代码或重跑测试,结论仍需维护者核验。

@Xyzhao1999 Xyzhao1999 left a comment

Copy link
Copy Markdown
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

LGTM

@hygon-ai-reviewer hygon-ai-reviewer Bot left a comment

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

AI Review

🟢 未发现有明确证据的问题

在已提供并完成审查的 diff 范围内未形成可确认问题。

变更概览

本次变更主要包含:

  • HCU CI 工作流中手动审批与测试作业的自托管运行器标签由 nmz1 改为 bw1100。
  • 新增 HCU CI 跳过清单文件,列出默认全量测试运行时临时跳过的已确认失败 Python/C++ 测试 target,并同步更新 BUILDING.md 中关于完整测试清单与按清单跳过的说明。
  • 本批删除了 scripts/ci/pytest_failed.sh,该旧脚本以逐条硬编码的 bazel test 命令重跑此前失败的 Python 测试,对应 PR 中改用完整目标列表加集中跳过列表的机制调整。
  • 在 HCU CI 测试脚本中引入已知失败目标跳过清单:默认分支改为运行完整的 Python(1490 条)与 C++(1115 条)Bazel 测试列表,按清单过滤跳过目标,并分别生成选中与跳过目标的记录文件。
文件审查摘要
文件 变更 审查结果
scripts/ci/run_tensorflow_hcu_tests.sh 修改 · +83/-3 —
scripts/ci/hcu_test_skip_targets.txt 新增 · +70/-0 —
scripts/ci/pytest_failed.sh 删除 · +0/-56 —
docs/das/BUILDING.md 修改 · +6/-12 —
.github/workflows/hcu_ci.yml 修改 · +2/-2 —
审查信息
  • 变更统计:5 个文件,+161/-73。
  • 覆盖情况:共 5 个文件,已完整审查 5 个。
  • 候选问题:0 项;证据复核过滤:0 项;发布前敏感信息保护:0 项。
  • 本服务以 GitHub 提供的 PR diff 为审查主体,PR 描述与按相关性选取的仓库片段仅用于核验;未执行代码或重跑测试,结论仍需维护者核验。

@hygon-ai-reviewer hygon-ai-reviewer Bot left a comment

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

AI Review

🟢 未发现有明确证据的问题

在已提供并完成审查的 diff 范围内未形成可确认问题。

变更概览

本次变更主要包含:

  • 新增 scripts/ci/hcu_test_skip_targets.txt,集中记录 HCU CI 默认跳过的已知失败 Python 与 C++ Bazel 测试 target,并在文档中说明执行全量测试清单时按该清单跳过、显式传入的 target 不受过滤。
  • 将 HCU CI 工作流中 manual_approval 与测试作业的 self-hosted runner 标签由 nmz1 改为 bw1100。
  • 本批删除了旧的失败测试重跑脚本 scripts/ci/pytest_failed.sh,移除原先仅重跑固定失败 Python 测试集合的逻辑,与 PR 描述中改为全量测试并集中跳过已知失败目标的策略一致。
  • 将默认 Python 测试从 48 个重试目标恢复为 pytest.sh 全量 1490 个 Bazel 目标(套件名由 python-retry 改为 pytest);新增默认 61 项的跳过列表文件,仅对默认全量选择生效,过滤已知失败目标,并把选中与跳过目标分别写入 selected_targets.txt 与 skipped_targets.txt 工件。
文件审查摘要
文件 变更 审查结果
scripts/ci/run_tensorflow_hcu_tests.sh 修改 · +83/-3 —
scripts/ci/hcu_test_skip_targets.txt 新增 · +71/-0 —
scripts/ci/pytest_failed.sh 删除 · +0/-56 —
docs/das/BUILDING.md 修改 · +6/-12 —
.github/workflows/hcu_ci.yml 修改 · +2/-2 —
审查信息
  • 变更统计:5 个文件,+162/-73。
  • 覆盖情况:共 5 个文件,已完整审查 5 个。
  • 候选问题:0 项;证据复核过滤:0 项;发布前敏感信息保护:0 项。
  • 本服务以 GitHub 提供的 PR diff 为审查主体,PR 描述与按相关性选取的仓库片段仅用于核验;未执行代码或重跑测试,结论仍需维护者核验。

@Xyzhao1999
Xyzhao1999 merged commit 9fc24b7 into HYGON-AI:r2.13-das Oct 13, 2026
1 check failed

This branch was successfully deployed

No deployments
ci-protection — 393b27d9 Deployed Oct 13, 2026 by Silence0218 via Manual approval for HCU CI #21
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants