📖 简介

本仓库整理了在 HCU 硬件上部署、调优和运行 AI 模型的经验与最佳实践，涵盖：

• 大语言模型 (LLM) — 文本生成、对话、代码补全等
• 多模态模型 (VLM) — 视觉语言模型、图像生成、语音识别等
• 全模态模型 (Omni) — 文本+图像+音频统一理解与生成

🐳 Docker 镜像列表

查看推荐 Docker 镜像及拉取命令

📋 模型列表

✅ 已验证  |  🚧 开发中  |  - 暂未验证

厂商	模型	框架	K100_AI	BW1000	BW1100
Qwen	Qwen3.8	vLLM	✅	✅	✅
		SGLang	✅	✅	✅
	Qwen3.6	vLLM	✅	✅	✅
		SGLang	✅	✅	✅
	Qwen3.5	vLLM	✅	✅	✅
		SGLang	✅	✅	✅
	Qwen3-TTS	vLLM-Omni	🚧	✅	✅
		SGLang-Omni	🚧	🚧	🚧
	Qwen3-VL	vLLM	🚧	✅	🚧
		SGLang	✅	✅	✅
	Qwen3-Coder	vLLM	🚧	🚧	✅
		SGLang	🚧	✅	✅
	Qwen3	vLLM	✅	✅	✅
		SGLang	✅	✅	✅
	Qwen2.5-VL	vLLM	🚧	✅	✅
		SGLang	🚧	🚧	🚧
	QwQ	vLLM	✅	✅	✅
		SGLang	🚧	🚧	🚧
	Qwen2-VL	vLLM	-	✅	-
		SGLang	-	-	-
	Qwen2-72B	vLLM	-	✅	-
		SGLang	-	-	-
InclusionAI	Ling-1T	vLLM	-	-	-
		SGLang	-	-	✅
DeepSeek	DeepSeek-V4	vLLM	🚧	✅	✅
		SGLang	🚧	✅	✅
	DeepSeek-V3.2	vLLM	-	✅	✅
		SGLang	✅	✅	✅
	DeepSeek-V3.1	vLLM	🚧	🚧	🚧
		SGLang	🚧	🚧	🚧
	DeepSeek-V3	vLLM	-	-	✅
		SGLang	-	✅	✅
	DeepSeek-R1	vLLM	✅	✅	✅
		SGLang	✅	✅	✅
Z.ai	GLM-5.2	vLLM	🚧	✅	✅
		SGLang	🚧	✅	✅
	GLM-5.1	vLLM	🚧	✅	✅
		SGLang	🚧	✅	✅
	GLM-5	vLLM	-	✅	✅
		SGLang	-	✅	✅
	GLM-4.7	vLLM	✅	✅	✅
		SGLang	🚧	🚧	🚧
Tencent	Hy4	vLLM	-	-	✅
		SGLang	-	-	-
	Hy3	vLLM	-	-	✅
		SGLang	-	✅	✅
Moonshot AI	Kimi-K3	vLLM	-	-	-
		SGLang	-	-	✅
	Kimi-K2.6	vLLM	-	-	-
		SGLang	-	-	✅
	Kimi-K2.5	vLLM	-	-	✅
		SGLang	-	-	✅
	Kimi-K2	vLLM	-	-	✅
		SGLang	-	-	✅
MiniMax	MiniMax-M3	vLLM	-	-	-
		SGLang	-	-	✅
	MiniMax-M2.7	vLLM	-	-	-
		SGLang	-	-	✅
	MiniMax-M2.5	vLLM	✅	✅	✅
		SGLang	✅	✅	✅
	MiniMax-M2	vLLM	-	-	-
		SGLang	-	-	-
	MiniMax-H3	vLLM-Omni	🚧	🚧	🚧
		SGLang Diffusion	🚧	✅	✅
StepFun	Step-3.5	vLLM	🚧	🚧	🚧
		SGLang	🚧	🚧	🚧
Xiaomi MiMo	MiMo-V2.5-Pro	vLLM	-	-	-
		SGLang	-	-	✅
	MiMo-V2-Flash	vLLM	-	-	-
		SGLang	✅	✅	✅
Wan	Wan2.1-I2V	vLLM-Omni	-	-	-
		SGLang	-	-	-
		Wan-DAS	-	✅	✅
	Wan2.2-I2V	vLLM-Omni	-	✅	✅
		SGLang	-	-	-
		Wan-DAS	-	✅	✅
	Wan2.2-T2V	vLLM-Omni	-	✅	✅
		SGLang Diffusion	-	-	✅
		Wan-DAS	-	✅	✅
	Wan2.2-TI2V	vLLM-Omni	-	-	-
		SGLang Diffusion	-	-	-
		Wan-DAS	-	✅	✅
BAAI	BGE	Infinity	-	✅	-
		vLLM	-	✅	-
Sand.ai	MAGI-2-preview	PyTorch	🚧	✅	🚧

📄 许可证与第三方来源

本项目采用 MIT License。

仓库不直接内嵌第三方源码。文档中引用的模型、推理框架、工具和服务仍由各自项目的许可证约束，具体说明见 THIRD_PARTY_NOTICES.md。

🤝 贡献

欢迎提交 Issue 和 PR！详见 CONTRIBUTING.md。