Skip to content

Commit

Permalink
deploy: 5e2adb2
Browse files Browse the repository at this point in the history
  • Loading branch information
yangchuansheng committed Jan 19, 2024
1 parent 8daf60e commit f0d9bfd
Show file tree
Hide file tree
Showing 8 changed files with 58 additions and 58 deletions.
12 changes: 6 additions & 6 deletions docs/development/docker/index.html

Large diffs are not rendered by default.

8 changes: 4 additions & 4 deletions docs/development/index.xml
Original file line number Diff line number Diff line change
Expand Up @@ -19,7 +19,7 @@ Sealos 使用 link简介 linkFastGPT 商业版共包含了3个应用(fastgpt,
如何更新/升级 FastGPT link升级脚本文档先看下文档,看下需要升级哪个版本。注意,不要跨版本升级!!!!!
例如,目前是4.5 版本,要升级到4.5.1,就先把镜像版本改成v4.5.1,执行一下升级脚本,等待完成后再继续升级。如果目标版本不需要执行初始化,则可以跳过。
升级步骤:
查看更新文档,确认要升级的版本,避免跨版本升级。 打开 sealos 的应用管理 有2个应用 fastgpt , fastgpt-pro 点击对应应用右边3个点,变更。或者点详情后右上角的变更。 修改镜像的版本号 点击变更/重启,会自动拉取最新镜像进行更新 执行对应版本的初始化脚本(如果有) 如何获取 FastGPT 访问链接 link打开对应的应用,点击外网访问地址。</description></item><item><title>Docker Compose 快速部署</title><link>/docs/development/docker/</link><pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate><guid>/docs/development/docker/</guid><description>推荐配置 link 环境 最低配置(单节点) 推荐配置 测试 2c2g 2c4g 100w 组向量 4c8g 50GB 4c16g 50GB 500w 组向量 8c32g 16c64g 200GB 1. 准备好代理环境(国外服务器可忽略) link确保可以访问 OpenAI,具体方案可以参考:代理方案。或直接在 Sealos 上 部署 OneAPI,既解决代理问题也能实现多 Key 轮询、接入其他大模型。
查看更新文档,确认要升级的版本,避免跨版本升级。 打开 sealos 的应用管理 有2个应用 fastgpt , fastgpt-pro 点击对应应用右边3个点,变更。或者点详情后右上角的变更。 修改镜像的版本号 点击变更/重启,会自动拉取最新镜像进行更新 执行对应版本的初始化脚本(如果有) 如何获取 FastGPT 访问链接 link打开对应的应用,点击外网访问地址。</description></item><item><title>Docker Compose 快速部署</title><link>/docs/development/docker/</link><pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate><guid>/docs/development/docker/</guid><description>推荐配置 link 环境 最低配置(单节点) 推荐配置 测试 2c2g 2c4g 100w 组向量 4c8g 50GB 4c16g 50GB 500w 组向量 8c32g 16c64g 200GB 部署架构图 link 1. 准备好代理环境(国外服务器可忽略) link确保可以访问 OpenAI,具体方案可以参考:代理方案。或直接在 Sealos 上 部署 OneAPI,既解决代理问题也能实现多 Key 轮询、接入其他大模型。
2. 多模型支持 linkFastGPT 使用了 one-api 项目来管理模型池,其可以兼容 OpenAI 、Azure 、国内主流模型和本地模型等。
可选择 Sealos 快速部署 OneAPI,更多部署方法可参考该项目的 README,也可以直接通过以下按钮一键部署:
一、安装 Docker 和 docker-compose link Linux MacOS Windows # 安装 Docker curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun systemctl enable --now docker # 安装 docker-compose curl -L https://github.</description></item><item><title>接入微软、ChatGLM、本地模型等</title><link>/docs/development/one-api/</link><pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate><guid>/docs/development/one-api/</guid><description>默认情况下,FastGPT 只配置了 GPT 的模型,如果你需要接入其他模型,需要进行一些额外配置。 One API 是一个 OpenAI 接口管理 &amp;amp; 分发系统,可以通过标准的 OpenAI API 格式访问所有的大模型,开箱即用。 FastGPT 可以通过接入 OneAPI 来实现对不同大模型的支持。OneAPI 的部署方法也很简单。 MySQL 版本 linkMySQL 版本支持多实例,高并发。
Expand All @@ -38,9 +38,9 @@ SESSION_SECRET=SESSION_SECRET POLLING_INTERVAL=60 BATCH_UPDATE_ENABLED=true BATC
这个配置文件中包含了系统级参数、AI 对话的模型、function 模型等……
旧版本配置文件 link以下配置适合 4.6.6-alpha 之前
{ &amp;#34;SystemParams&amp;#34;: { &amp;#34;vectorMaxProcess&amp;#34;: 15, // 向量生成最大进程,结合数据库性能和 key 来设置 &amp;#34;qaMaxProcess&amp;#34;: 15, // QA 生成最大进程,结合数据库性能和 key 来设置 &amp;#34;pgHNSWEfSearch&amp;#34;: 100 // pg vector 索引参数,越大精度高但速度慢 }, &amp;#34;ChatModels&amp;#34;: [ // 对话模型 { &amp;#34;model&amp;#34;: &amp;#34;gpt-3.5-turbo-1106&amp;#34;, &amp;#34;name&amp;#34;: &amp;#34;GPT35-1106&amp;#34;, &amp;#34;price&amp;#34;: 0, // 除以 100000 后等于1个token的价格 &amp;#34;maxContext&amp;#34;: 16000, // 最大上下文长度 &amp;#34;maxResponse&amp;#34;: 4000, // 最大回复长度 &amp;#34;quoteMaxToken&amp;#34;: 2000, // 最大引用内容长度 &amp;#34;maxTemperature&amp;#34;: 1.</description></item><item><title>常见开发 &amp; 部署问题</title><link>/docs/development/qa/</link><pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate><guid>/docs/development/qa/</guid><description>错误排查方式 link遇到问题先按下面方式排查。
docker ps -a 查看所有容器运行状态,检查是否全部 running,如有异常,尝试docker logs 容器名查看对应日志。 不懂 docker 不要瞎改端口,只需要改OPENAI_BASE_URL和CHAT_API_KEY即可。 容器都运行正常的,docker logs 容器名 查看报错日志 无法解决时,可以找找Issue,或新提 Issue,私有部署错误,务必提供详细的日志,否则很难排查。 通用问题 linkinsufficient_user_quota user quota is not enough linkOneAPI 账号的余额不足,默认 root 用户只有 200 刀,可以手动修改。
docker ps -a 查看所有容器运行状态,检查是否全部 running,如有异常,尝试docker logs 容器名查看对应日志。 不懂 docker 不要瞎改端口,只需要改OPENAI_BASE_URL和CHAT_API_KEY即可。 容器都运行正常的,docker logs 容器名 查看报错日志 无法解决时,可以找找Issue,或新提 Issue,私有部署错误,务必提供详细的日志,否则很难排查。 通用问题 link能否纯本地允许 link可以。需要准备好向量模型和LLM模型。
insufficient_user_quota user quota is not enough linkOneAPI 账号的余额不足,默认 root 用户只有 200 刀,可以手动修改。
xxx渠道找不到 linkOneAPI 中没有配置该模型渠道。或者是修改了配置文件中一部分的模型,但没有全部修改。
页面中可以正常回复,API 报错 link页面中是用 stream=true 模式,所以API也需要设置 stream=true 来进行测试。部分模型接口(国产居多)非 Stream 的兼容有点垃圾。
Incorrect API key provided: sk-xxxx.You can find your api Key at xxx linkOneAPI 的 API Key 配置错误,需要修改OPENAI_API_KEY环境变量,并重启容器(先 stop 然后 rm 掉,最后再 up -d 运行一次)。可以exec进入容器,env查看环境变量是否生效。
其他模型没法进行问题分类/内容提取 link需要给其他模型配置toolChoice=false,就会默认走提示词模式。目前内置提示词仅针对了商业模型API进行测试,国内外的商业模型基本都可用。
页面崩溃 link 关闭翻译 检查配置文件是否正常加载,如果没有正常加载会导致缺失系统信息,在某些操作下会导致空指针。 Docker 部署常见问题 link如何更新? link 查看更新文档,确认要升级的版本,避免跨版本升级。</description></item></channel></rss>
其他模型没法进行问题分类/内容提取 link需要给其他模型配置toolChoice=false,就会默认走提示词模式。目前内置提示词仅针对了商业模型API进行测试,国内外的商业模型基本都可用。</description></item></channel></rss>
Loading

0 comments on commit f0d9bfd

Please sign in to comment.