openxlab加载不了带RAG的食神大模型

[zhanghui-china]

我们的大模型项目：
https://github.com/zhanghui-china/TheGodOfCookery

在本地wsl环境启动完全正常：

页面：

但是部署到 openxlab环境下总是失败：

加载模型的时候就被killed了。

运行地址如下：
https://openxlab.org.cn/apps/detail/zhanghui-china/nlp_shishen2

环境配置：

[keyhsw]

你好，大概率是因为OOM导致的，可能需要升级一下GPU的配置，可申请一下A100 40G的资源
申请入口：https://openxlab.org.cn/apps/apply-hardware

[SchweitzerGAO]

我是 @zhanghui-china 项目组成员之一需要说明一点，我使用 langchain 这个项目Rag知识库的大小是101M，遇到这种情况。我在做第3次课作业的时候，知识库大小是52.5M，但可以正常在A10运行

[keyhsw]

我是 @zhanghui-china 项目组成员之一需要说明一点，我使用 langchain 这个项目Rag知识库的大小是101M，遇到这种情况。我在做第3次课作业的时候，知识库大小是52.5M，但可以正常在A10运行

你好，OpenXLab的A10 24G的显卡，做了GPU的显存虚拟化，可能显存比实际的A10 24G小一些