当前发布版本见 README 与变更记录。本地测试覆盖协议和工具逻辑,部分能力已有真实 HCU 环境中的有界验证;换环境、引擎或规模后仍需按对应条件验收。下表区分已经执行的范围和待验证部分;经筛选的通用站点知识另在 Wiki 保存,完整任务日志仍留私有工作区。整体方法见工程介绍,阶段衔接见工作流全景图。
| 部分 | 当前可用内容 | 尚需验证/后续扩展 |
|---|---|---|
| 本地主控 | 一个统一入口、三个阶段 Skill、两个 Wiki Skill;持久实施/独立复核/修正、目标与证据绑定、预算/停滞处理;已有真实主控及独立 Agent 协作 | 主控长时离线后自动接续、不同 Agent 宿主的 launcher 部署验收 |
| 看板指导 | BOARD/GUIDANCE/QUESTIONS 文件、版本化问题与回应、默认 5 分钟采集及显式刷新;实际任务中已用于指导和问答 | 跨设备编辑冲突、无人在线唤醒及自动回复;采集文件不等于运行 Agent |
| 多 Agent | 依赖图、领取与会话绑定、范围/资源隔离、定向消息、结果验收、等待交接、旧 token 拒绝;已有实际并行分析和独立复核 | 所有宿主的消息投递、主控崩溃后完整接续及长期运行。只登记任务不会启动模型 |
| 源码与执行 | 工作树字节快照、bundle 接收校验、远程命令与资源契约;SSH+Docker 已执行固定快照的真实构建和有界训练 | Slurm/K8s 的现场联调、更多容器/调度环境;不能由 SSH+Docker 结果推断其已通过 |
| 环境 | 工具发现、复用既有检查、逐设备占用及身份检查、未知项保留、参考来源与当前测量分离;已有实际静态检查和有界通信测试 | 新站点健康/性能预期、网络配置与预约系统的完整覆盖;观察为空闲不构成排他的硬件预约 |
| 性能 | process-group 采样、同 rank 窗口、覆盖缺口、算力/带宽/延迟下界;TraceLens 处理真实多 rank trace、DP/EP 关联、Graph、实测参考 Roofline、实际输入 EventReplay、原生 Agent 与 HCU profiler 证据,保留 shape 来源和条件模型 | 已验证范围见下节;跨节点校时、通信重叠因果、复杂有状态回放和完整热点归因仍有边界。不能把非通信 GPU 时间覆盖当成端到端墙钟覆盖 |
| 数值 | 代理模型约束、组件前后向/梯度及参数更新资格、有界训练/恢复;记录阶段 A/B loss 与无 profiler 性能,并明确每份报告的初态/样本/布局覆盖。新契约支持显式初态及配方身份匹配 | 部分阶段记录未保留完整初态/输入指纹,不能追认等价;不同候选/布局资格、统计非劣、长训收敛和 HCU/NV 对照仍需验证 |
| 长训 | 真实进度源、全部成员与观察器健康、事务事件重放;已有两节点 16 rank 的受控训练暂停→现场恢复负责人检测→全组清理→重启加载 checkpoint→继续推进与终态核销,发起 SSH 连接已关闭 | 这是一轮有界恢复验证;持续生产监控、真实飞书送达、Agent自动唤醒、物理本机关机、坏节点替换、CFS和节点共同失效仍未验证 |
| 训练图表 | Store 事件与告警报告,以及单 attempt 规范日志的离线 loss、step 时间、显存和显式吞吐图;保留原件哈希、缺失值、模式和冷启动,支持原日志字节校验 | 不由图表判断收敛、数值等价或性能达标;跨 attempt 对比仍须核对源码、初态、数据与测量条件 |
| Wiki | hcu-trainflow-wiki-search 检索官方资料、通用环境经验与最终模型总结;本地不足时在线查 PR→固定源码,官网教程、release/roadmap 由 Agent 按需查询。hcu-trainflow-wiki-skill-update 负责增量复核、内容筛选及受影响用法;任务初期检查相关官方知识,阶段/最终收尾筛选共享经验 |
全部引擎/底层依赖的持续策展、标准及历史性能条件补齐;官方网页与非 PR 的 roadmap 尚非 CLI 全量自动索引。检索命中或原件完整不证明正文结论正确,也不代表完整模型已有最终验收 |
| 安装与依赖 | 标准安装共 11 个 Skill:6 个工作流/Wiki、3 个算子、2 个 HCU 知识库 Skill;HCU-Knowledge 是必需依赖,安装时检查可用性并绑定目录 | 用户自己的仓库/原件/线上资料权限、LFS 和运行依赖;无知识库访问权限时须解决权限,不能把不完整安装当作就绪 |
| 私有维护 | 缓存最近3代/年龄策略,临时产物显式退役与元数据扫描,容量检查;阶段触发/默认6小时扫描,pin、作业/lease、计划、隔离与回执;context+epoch独立观察Store准备 | 默认dry-run,未登记不自动清理;生产者须执行pin/停止核销,临时大文件元数据不证明完整性;当前Store活跃时延后清理,共享文件系统与现场删除仍需部署验证。新Store、全部member观察器和独立sentinel须实际交接就绪 |
| 公开交付 | 明确 allowlist、哈希审查与敏感模式拦截 | 用户组织的发布标准与人工内容审查 |
完整安装包括 HCU 知识库的检索和更新能力,但普通适配、分析、查询及本项目维护不会隐式更新 HCU-Knowledge。--workflow-only 仅供开发者刷新六个工作流 Skill,不是完整安装;安装步骤见 快速开始。
安装保留项目 checkout,Skill 自带 references 随安装复制,项目脚本/文档由显式项目路径、TRAINFLOW_PROJECT 或安装时写入的 workspace.json.project_root 定位。wheel 包含维护模块,单独安装 wheel 不会附带全部 scripts/docs/Wiki;远端辅助脚本须按同一修订显式部署。维护与观察换代的使用和边界见 工作区维护。
工作空间约束见统一写入边界:六个 Skill 共用映射、输出/缓存和必要例外规则;源码传输另有目标链接预检,维护脚本保留受限删除检查。CLI 不为任意命令提供文件系统沙箱,部署仍须核对实际挂载、权限与工具输出。
当前主线另完成了 gfx936/DTK 26.10 的 TraceLens 有界资格验证:训练 Graph 前后向映射、实际输入 EventReplay、实测参考 Roofline、原生 Agent 指标及推理复核、hipprof JSON/pftrace 同源对照、XProf/XCompute counter 与 SQTT。另以真实 trace 验证了受管 split/merge/compare 和原生源码定位、索引,合并不自动校时,自比较不代表提速。命令、计时/数据边界和未覆盖项见 TraceLens HCU 分析;没有因此扩大完整模型 loss、多架构或生产长稳的验证声明。
三个阶段共用精度诊断方法:NV 对照、HCU 自查、HCU Probe 采集和匹配、跨 rank 首差、SFT/RL 与恢复后偏差。已核对固定 Probe 源码及官方方法,登记调用入口和验收边界;目前没有保留完整 HCU/NV 模型对照或 Probe 现场实验的验收证据,不要求预先实测全部后端。现有质量门槛继续核对冻结初态、配方、样本和实际候选;Probe 不会由 CLI 自动安装/执行,也不自动判模型通过。
官方资料按 knowledge/projects/<project>/knowledgebase/{upstream,local} 统一组织,原文/PR 与整理后的机制解释分开;HCU 仓库知识通过 HCU-Knowledge 联查,本仓仅维护工作流接口和有复用价值的经验。
所有登记来源共用九项内容标准:定位、目录、安装、运行测试、数值/状态契约、调用链、性能显存、诊断恢复、版本与 PR。各仓入口和具体机制见覆盖导航,跨引擎优化见参考选择。Megatron、TorchTitan、DeepSpeed、SFT/RL、推理后端与第三方参考均有同等阅读维度;页数可以不同,不能用大量原文或 PR 数量代替专题讲解。
源码目录、教程和 PR 增量分别采集;作者页说明选定机制、证据及边界,正文复核后才应用来源更新。组织检查仅确认阅读入口完整,不证明每个结论正确或通过 HCU 实测。发布线、开发分支和未合入 PR 分开追踪;Wiki 内容更新本身不增加训练、性能或故障注入的硬件验证范围。
- 在每个目标环境重新确认资源、权限、启动方式和预期;冻结真实源码、依赖、模型、数据与基线身份,保留早期发现记录。
- 根据端到端证据推进系统/通信/算子候选,验证局部正确性和收益,并在稳定阶段验 loss。
- 在非平凡并行域采集至少两个适当 rank 的 profile,核对切分、显存、通信与负载均衡;不能把单卡结果外推到多机。
- 按任务允许的代理模型范围验证,再恢复目标结构、扩 DP 域及规模,接入现有容错。
- 分别验收主控中断接续、真实告警送达、Agent 唤醒、训练恢复和监控自身失效;通知、分析和恢复是不同证据。
- 有效修改集中整合到指定活跃 HCU 出口,重新验证整合版本;同步文档、Skill 和私有经验后再评估发布条件。
工程发布不表示所有站点、所有引擎和规划中的全部机制已经生产验证;当前证据范围以上表及专项验证说明为准。
后续 Wiki 深度扩展还包括官方 release/roadmap 与特性 PR 的持续策展、更多 AI 编译调用链,以及各 SFT/RL 引擎的实际模型与底层实现专题。当前可先按问题使用已保留的官方文档、源码导航和线上 PR,并由 Agent 沿官方仓库/文档入口查未收录的教程、Releases、roadmap issue/discussion/project,再追实际模型配置与底层实现;无需等全部写成深度专题才能查证。此路径不表示所有内容已本地收录或离线可搜,网络、权限、页面读取和版本差异仍须如实反馈。详见 官方内容按需查证。TE/cuDNN 的具体收录范围见覆盖导航,不代表所有 backend、版本和训练组合均已逐项验证。
知识维护时机见 任务中的维护时机:knowledge_followup 是由 Agent 处理的非阻塞提示,不是后台采集服务;私有报告自动归档不等于共享 Wiki 已更新。
规模长稳 Skill 已补充六类故障分流及 HCU 知识库、在线 PR、源码查证路径;环境适配和优化增加失败交接。新指南来自文档/源码核对与离线场景复核,不增加真实故障复现的覆盖声明。通信契约失配、VMFault/core、真实泄漏、数值偏差、存储失败、节点替换与不同部署恢复仍需在授权现场逐项验证。安装迁移/文档校验不能代替这些硬件验证。
性能证据刷新、三表分析、HCU 计数器判读、组合/停滞处置,以及跨阶段重放、假设排除、二分和节点交叉诊断,来自参考源码、HCU 知识与离线回归核对。上限模型、阶段门槛、中断重入及消息交接另有程序回归。这些检查本身不增加实际 HCU 性能或故障注入结论;TraceLens 实测资格单列在上文,不将工具资格扩展成完整训练验收。