Skip to content

Feature/cosmos3 patch - #19

Open
iMountTai wants to merge 9 commits into
HYGON-AI:mainfrom
iMountTai:feature/cosmos3-patch
Open

Feature/cosmos3 patch#19
iMountTai wants to merge 9 commits into
HYGON-AI:mainfrom
iMountTai:feature/cosmos3-patch

Conversation

@iMountTai

@iMountTai iMountTai commented Oct 8, 2026 •
edited
Loading

Copy link
Copy Markdown

Summary

Deliver Cosmos3 HCU support as a standalone source patch. Training runs through the native Cosmos launcher without requiring the TurboPhysAI runtime.

Changes

  • Add HCU compatibility fixes and optimizations for Generator, Action Policy, and Reasoner.
  • Optimize VAE encoding with distributed AOT compilation, improve data loading and FSDP communication, and adapt DCP checkpoint loading and saving for HCU.
  • Provide patch validation, application, verification, and rollback tools.
  • Update training guides and launcher examples.
  • Validate Generator Nano training on 8 HCUs for 70 steps, with successful completion and checkpoint saving.

iMountTai and others added 6 commits September 29, 2026 09:41
@iMountTai
feat(cosmos3): add cosmos3 adaptation and optimization
9b4453c
@iMountTai
Merge remote-tracking branch 'origin/main' into main
bb302a6
@iMountTai
feat(cosmos3): integrate source patches independently
2d9e7fd
@iMountTai
refactor(cosmos3): migrate patch to model_examples and streamline com…
97db666 
…pliance

- Move cosmos patch from patches/cosmos3/ to model_examples/Cosmos3/cosmos-framework.patch
- Add model_examples/Cosmos3/requirements.txt
- Remove custom export/apply patch tools, manifest, and standalone licenses
- Update README.md with standard git apply usage
- Update THIRD_PARTY_NOTICES.md with provenance of substantive changes
@iMountTai
refactor(cosmos3): clean up residual bootstrap and toml dependencies …
4fb508b 
…in turbo_physai

- Remove turbo_physai/bootstrap/_toml.py
- Revert sitecustomize.py to remove ensure_tomllib hook
- Remove unused tomli dependency from setup.py
@iMountTai
Merge branch 'main' into feature/cosmos3-patch
af3d438
@iMountTai
iMountTai marked this pull request as ready for review October 9, 2026 08:02
hygon-ai-reviewer[bot]
hygon-ai-reviewer Bot reviewed Oct 9, 2026
View reviewed changes

@hygon-ai-reviewer hygon-ai-reviewer Bot left a comment •
edited
Loading

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

AI Review

⚪ 审查未完成

部分内容未完成审查，当前结论不代表全部改动。

变更概览

本次变更主要包含：

  • 为 model_examples/Cosmos3/*.patch 设置 -text -whitespace 属性以保留补丁原始字节，并在第三方声明文档中新增 Cosmos3 (OpenMDW-1.1) 许可说明及补丁所涉上游文件清单。
  • 新增 Cosmos3 模型示例的 README 运行指南，说明容器创建、应用 cosmos-framework 补丁、数据与权重准备，并通过 torchrun 以 8 卡执行 Generator Nano 训练的完整步骤。
  • 新增 Cosmos3 模型示例 README，提供 Action Policy（DROID）与 Reasoner（VideoPhy2、LLaVA-OV）SFT 训练的 torchrun 示例命令、性能与编译相关参数设置及运行说明
  • 为 Cosmos3 模型示例新增 requirements.txt，包含固定版本的推理与数据处理依赖及若干未固定版本的补充依赖。
文件审查摘要
文件 变更 审查结果
model_examples/Cosmos3/cosmos-framework.patch 新增 · +9352/-0 —
model_examples/Cosmos3/README.md 新增 · +207/-0 —
model_examples/Cosmos3/requirements.txt 新增 · +82/-0 —
THIRD_PARTY_NOTICES.md 修改 · +42/-0 —
setup.py 修改 · +3/-3 —
.gitattributes 修改 · +2/-0 —
审查信息
  • 变更统计：6 个文件，+9688/-3。
  • 覆盖情况：共 6 个文件，已完整审查 5 个。
  • 候选问题：0 项；证据复核过滤：0 项；发布前敏感信息保护：0 项。
  • 本服务以 GitHub 提供的 PR diff 为审查主体，PR 描述与按相关性选取的仓库片段仅用于核验；未执行代码或重跑测试，结论仍需维护者核验。
CI 结果：质量门禁未通过

质量门禁检测到需处理的问题；敏感命中原文、字段值、路径和日志引用不在评论中展示，请由有权限的维护者查看原始报告并处理。

hygon-ai-reviewer[bot]
hygon-ai-reviewer Bot reviewed Oct 9, 2026
View reviewed changes

@hygon-ai-reviewer hygon-ai-reviewer Bot left a comment

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

AI Review

⚪ 审查未完成

部分内容未完成审查，当前结论不代表全部改动。

已确认 1 个问题，其中 1 个已添加到对应代码行。

变更概览

本次变更主要包含：

  • 本批为 model_examples/Cosmos3 下的 .patch 文件配置 Git 属性以保留原始字节（禁用文本转换与空白处理），并在第三方声明文档中补充 Cosmos3（OpenMDW-1.1）的来源仓库、固定 commit 及补丁涉及的文件清单。
  • 新增 Cosmos3 在 HCU 上运行的完整指南：容器环境准备、cosmos-framework 补丁应用与回滚、Generator/Action Policy/Reasoner 三个训练场景的 torchrun 启动命令，以及配套的固定版本依赖清单。
  • 将 setup.py 中的版本解析入口由 pkg_resources 暴露的 packaging 迁移为直接导入 packaging.version 模块，调用点同步改为 packaging_version.parse。
文件审查摘要
文件 变更 审查结果
model_examples/Cosmos3/README.md 新增 · +207/-0 P3 × 1
model_examples/Cosmos3/cosmos-framework.patch 新增 · +9352/-0 —
model_examples/Cosmos3/requirements.txt 新增 · +82/-0 —
THIRD_PARTY_NOTICES.md 修改 · +42/-0 —
setup.py 修改 · +3/-3 —
.gitattributes 修改 · +2/-0 —
审查信息
  • 变更统计：6 个文件，+9688/-3。
  • 覆盖情况：共 6 个文件，已完整审查 5 个。
  • 候选问题：1 项；证据复核过滤：0 项；发布前敏感信息保护：0 项。
  • 本服务以 GitHub 提供的 PR diff 为审查主体，PR 描述与按相关性选取的仓库片段仅用于核验；未执行代码或重跑测试，结论仍需维护者核验。
提交修复并推送新 commit 后，将自动审查 PR 的最新版本。

Comment thread model_examples/Cosmos3/README.md
hygon-ai-reviewer[bot]
hygon-ai-reviewer Bot reviewed Oct 9, 2026
View reviewed changes

@hygon-ai-reviewer hygon-ai-reviewer Bot left a comment

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

AI Review

⚪ 审查未完成

部分内容未完成审查，当前结论不代表全部改动。

变更概览

本次变更主要包含：

  • 为 model_examples/Cosmos3 下的 Git patch 文件添加 .gitattributes 规则（禁用文本与空白转换以保留补丁字节），并在第三方声明文档中补充 Cosmos3 (OpenMDW-1.1) 的来源、许可及补丁对应上游文件清单。
  • 新增 Cosmos3 HCU 训练运行指南 README，涵盖容器部署、补丁应用/回滚、数据与权重下载及 Generator/Action Policy/Reasoner 的启动命令
  • 新增 model_examples/Cosmos3/requirements.txt，固定训练依赖版本并附加若干未固定版本的补充依赖
  • setup.py 中将 packaging 的导入从 pkg_resources 的内嵌版本改为直接导入独立的 packaging 库，并同步更新版本比较调用，以兼容新版 setuptools。
文件审查摘要
文件 变更 审查结果
model_examples/Cosmos3/cosmos-framework.patch 新增 · +9352/-0 —
model_examples/Cosmos3/README.md 新增 · +207/-0 —
model_examples/Cosmos3/requirements.txt 新增 · +82/-0 —
THIRD_PARTY_NOTICES.md 修改 · +42/-0 —
setup.py 修改 · +3/-3 —
.gitattributes 修改 · +2/-0 —
审查信息
  • 变更统计：6 个文件，+9688/-3。
  • 覆盖情况：共 6 个文件，已完整审查 5 个。
  • 候选问题：0 项；证据复核过滤：0 项；发布前敏感信息保护：0 项。
  • 本服务以 GitHub 提供的 PR diff 为审查主体，PR 描述与按相关性选取的仓库片段仅用于核验；未执行代码或重跑测试，结论仍需维护者核验。

yh-vino
yh-vino requested changes Oct 10, 2026
View reviewed changes

@yh-vino yh-vino left a comment

Copy link
Copy Markdown
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

需要在模型清单中增加该模型支持，并按照原文档方式做超链接，链接模型readme.md

@iMountTai

iMountTai commented Oct 10, 2026

Copy link
Copy Markdown
Author

需要在模型清单中增加该模型支持，并按照原文档方式做超链接，链接模型readme.md

已添加。

hygon-ai-reviewer[bot]
hygon-ai-reviewer Bot reviewed Oct 10, 2026
View reviewed changes

@hygon-ai-reviewer hygon-ai-reviewer Bot left a comment

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

AI Review

⚪ 审查未完成

部分内容未完成审查，当前结论不代表全部改动。

变更概览

本次变更主要包含：

  • 在 .gitattributes 中对 model_examples/Cosmos3 下的补丁文件禁用文本与空白规范化，保证补丁字节完整性。
  • 新增 Cosmos3（OpenMDW-1.1）第三方声明及其上游文件改动清单，并在支持模型列表登记 Cosmos3，注明指定基线 `9726697a83315540c6885baefd2fe353d9c74920` 与使用说明入口。
  • 新增 Cosmos3 在 HCU 上的运行指南与依赖清单：包含镜像/容器准备、cosmos-framework 补丁的 aplicar与回滚步骤、数据及权重下载，以及 Generator、Action Policy、Reasoner 等任务的 torchrun 启动示例和 pinned 依赖列表。
  • 将 setup.py 中对 pkg_resources 内置 packaging 的导入替换为直接使用独立 packaging 包，并相应更新构建脚本中 CUDA 版本解析的两处调用。
文件审查摘要
文件 变更 审查结果
model_examples/Cosmos3/cosmos-framework.patch 新增 · +9352/-0 —
model_examples/Cosmos3/README.md 新增 · +207/-0 —
model_examples/Cosmos3/requirements.txt 新增 · +82/-0 —
THIRD_PARTY_NOTICES.md 修改 · +42/-0 —
setup.py 修改 · +3/-3 —
docs/zh/models/support_list.md 修改 · +3/-0 —
.gitattributes 修改 · +2/-0 —
审查信息
  • 变更统计：7 个文件，+9691/-3。
  • 覆盖情况：共 7 个文件，已完整审查 6 个。
  • 候选问题：0 项；证据复核过滤：0 项；发布前敏感信息保护：0 项。
  • 本服务以 GitHub 提供的 PR diff 为审查主体，PR 描述与按相关性选取的仓库片段仅用于核验；未执行代码或重跑测试，结论仍需维护者核验。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Reviewers

@yh-vino yh-vino yh-vino requested changes
+1 more reviewer
@hygon-ai-reviewer hygon-ai-reviewer[bot] hygon-ai-reviewer[bot] left review comments
Reviewers whose approvals may not affect merge requirements

Requested changes must be addressed to merge this pull request.

Assignees

No one assigned

Labels

None yet

Projects

None yet

Milestone

No milestone

Development

Successfully merging this pull request may close these issues.

2 participants

@iMountTai @yh-vino