Skip to content

feat(examples): add quantization examples for glm5_3_flash_w4a8_int8 - #9

Merged
zhengyq-git merged 2 commits into
mainfrom
caihl-dev
Oct 8, 2026
Merged

zhengyq-git merged 2 commits into
mainfrom
caihl-dev

Conversation

@caihl706

Copy link
Copy Markdown
Contributor

No description provided.

@caihl706

Copy link
Copy Markdown
Contributor Author

@zhengyq-git Please review it, thanks

@hygon-ai-reviewer hygon-ai-reviewer Bot left a comment

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

AI Review

🟢 未发现有明确证据的问题

在已提供并完成审查的 diff 范围内未形成可确认问题。

变更概览

本次变更主要包含:

  • 在 examples/glm 示例文档中新增 GLM-5.3-Flash INT4 w4a8 通道量化脚本的调用示例,并将既有 w8a8 示例的输出目录名称大小写调整。
  • 新增 GLM-5.3-Flash 的 FP8 到混合精度 INT4(INT4-channelwise W4A8)/INT8 权重量化转换示例脚本,可见部分定义 int4 对称量化常量(scale=abs_max/7、零点8)及 compressed_tensors 缺失时等价的 pack_to_int32 内嵌打包实现。
  • examples/glm/quantize_glm5_3_flash_int4_channel.py 新增常量定义、scale/packed 权重命名辅助函数,以及按张量后缀与层号识别量化目标的函数(routed experts 限 layer 3-44 走 INT4,MLA 投影保 BF16,linear-attn/indexer 走 INT8)。
  • 新增 GLM-5.3 flash 量化示例脚本的基础算子:FP8 128x128 blockwise 反量化、对称 INT8/INT4 per-output-channel 量化,以及 INT4 的 int32 打包实现,供单 shard 转换函数调用。
文件审查摘要
文件 变更 审查结果
examples/glm/quantize_glm5_3_flash_int4_channel.py 新增 · +1161/-0 —
examples/qwen/quantize_qwen3_8_flash_next_int4_w4a16.py 修改 · +18/-3 —
examples/glm/README.md 修改 · +5/-1 —
审查信息
  • 变更统计:3 个文件,+1184/-4。
  • 覆盖情况:共 3 个文件,已完整审查 3 个。
  • 候选问题:2 项;证据复核过滤:2 项;发布前敏感信息保护:0 项。
  • 本服务以 GitHub 提供的 PR diff 为审查主体,PR 描述与按相关性选取的仓库片段仅用于核验;未执行代码或重跑测试,结论仍需维护者核验。

@hygon-ai-reviewer

hygon-ai-reviewer Bot commented Oct 8, 2026 •

Copy link
Copy Markdown

AI Review

审查尚未完整完成,无法给出整体结论;当前没有可发布的已确认问题,不代表代码没有问题。

审查未完整完成:以 GitHub 返回的 PR diff 为主体,关联上下文仅用于核验,未运行代码。

覆盖情况:共 5 个文件,已审查 1 个,部分审查 1 个,待审查 3 个。

进度已保存。正在继续处理。

@zhengyq-git
zhengyq-git merged commit a711b22 into main Oct 8, 2026
4 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants