知识库文档全链路存在多处失败（上传 / 解析 / 向量化 / 删除 / 图谱生成）

[hxxxi-malog]

现状

使用一份约 9.81 MB、26 页的 PDF 测试知识库文档流程时，上传、处理、删除和图谱生成链路先后出现以下问题：

1. 文档上传被 Nginx 拒绝

   Nginx 请求体大小限制未与后端保持一致，请求未到达 Go 服务就返回 413。

   client intended to send too large body: 10283530 bytes
   Request failed with status code 413
   

2. 文档处理无法连接 Python gRPC

   Python gRPC 仅监听 127.0.0.1:50051，Docker 中的 Go 服务无法跨容器访问。

   rpc error: code = Unavailable
   dial tcp 192.168.147.7:50051: connect: connection refused
   

3. Python 文档解析运行时依赖不完整

   Python 镜像未完整安装 PDF、Word、Excel 等文档解析依赖；PDF 解析还存在文件提前关闭导致延迟读取失败的问题。

4. Embedding 请求超过供应商批次限制

   文档生成 38 个分块后，系统一次性提交全部分块。供应商单次最多接受 10 条，导致请求返回 400。

5. Milvus collection 缺失导致删除失败

   删除文档时直接操作统一的 link collection；collection 尚未创建时，删除接口重试后仍返回 500。

   Failed to get collection id:
   collection not found[database=default][collection=link]
   
   Request failed with status code 500
   

6. 图谱生成返回不完整 JSON

   图谱重建将 38 个分块、约 2.68 万字符拼接到一次 LLM 请求中，但输出上限只有 4096 tokens。模型响应 JSON 不完整，连续两次生成失败。

   Starting graph extraction for 38 chunks
   
   parse graph extraction failed:
   failed to parse JSON: unexpected end of JSON input
   
   total=1 processed=0 skipped=0 failed=1 nodes=0 relations=0
   

   此时接口仍返回 HTTP 200，只在响应数据中记录失败文档数，容易被误判为请求成功。

7. 页面缺少具体失败原因

   页面原本只显示“失败”，没有展示解析、Embedding、Milvus 或图谱生成的实际错误，必须查看容器日志才能定位。

   另外，日志中的 GORM record not found 是文件哈希去重预检未命中，属于正常结果，不是上传失败的根因。

期望

• Nginx 上传上限统一设置为 10 MiB，前端同步校验文件大小并给出明确提示。
• Python gRPC 能被 Docker 网络中的 Go 服务正常访问。
• 生产镜像完整安装文档解析依赖，并正确管理解析文件生命周期。
• Embedding 按供应商限制分批调用，例如 38 个分块拆分为 10/10/10/8，并保持结果顺序。
• Milvus collection 不存在时自动初始化；删除不存在的投影应幂等成功。
• 图谱生成按单个分块或小批次调用 LLM，再合并、去重结果。
• 图谱链路检查 FinishReason，记录 token 使用情况；JSON 截断时缩小批次重试。
• 新图谱生成成功后再替换旧图谱，避免重建失败后知识库图谱为空。
• API 和页面能够返回并展示真实失败原因。
• 图谱任务存在业务失败时，不应仅依赖 HTTP 200 表达结果。

备注

本地已经完成上传、解析、Embedding、Milvus 初始化及幂等删除等修复，并使用同一份 PDF 验证：

• 文档解析成功：26 页
• 文档处理状态：completed
• 分块数：38
• Milvus link collection：LoadStateLoaded
• 原失败文档删除接口：HTTP 200

所有问题我本地均完成复现，询问是否需要修复上述问题

[hxxxi-malog]

补充issue

标题：知识图谱重建失败与图谱页导航失效问题

现状

知识图谱存在两类稳定性问题：

1. 大文档图谱重建失败

• 原实现将全部分块一次性提交给 LLM；响应达到输出上限后会产生不完整 JSON，解析失败。
• 改为小批次抽取后，38 个分块需要多次顺序 LLM 调用，前端 Axios 全局 60 秒超时会取消请求，后端 LLM 调用随请求 context 一同取消。
• 重建流程此前会先删除旧图谱，抽取失败时可能留下空图或部分图谱。

2. 图谱页加载后路由无法切换

• 在知识库详情页点过「图谱」tab，或访问独立图谱页 /graphs/:kbId 后，点击侧边栏菜单时 URL 和高亮会变化，但主内容区仍停留在旧页面。
• 此后所有导航均失效，只能刷新页面恢复。
• 知识库详情页的文档、分块、设置、检索等其他 tab 不受影响。

原因

图谱重建

• LLM 输出受 token 上限限制，原流程没有分批、缩小重试或截断诊断。
• 前端 Axios 全局请求超时 为 60 秒；重建接口未单独覆盖。
• 后端重建直接使用 HTTP 请求 context；浏览器超时取消请求后，正在执行的 LLM 调用收到 context canceled。
• 原重建流程在生成新图谱前删除旧图，无法保证失败时旧图仍可用。

图谱页导航

GraphView.vue 将 Vue 管理的 loading 遮罩放在 vis-network 接管的画布容器内。vis-network 初始化后会直接操作并接管容器内部 DOM；Vue 后续更新 loading 状态或卸载路由组件时，可能因节点已被移除导致 patch/unmount 异常，进而中断 router-view 更新。

修复

• 图谱抽取改为小批次调用 LLM；遇到 finish_reason=length 或不完整 JSON 时自动缩小批次重试。
• 合并并去重跨批实体、关系及来源 chunk ID。
• 图谱重建先完成全部候选图谱抽取，再通过 Neo4j 单事务替换旧图；任一文档失败时保留旧图。
• 图谱重建 API 单独设置为 5 分钟超时，不改变其他 API 的全局 60 秒默认超时。
• 将 GraphView.vue 的 loading 遮罩移出 vis-network 容器，作为外层兄弟节点绝对定位覆盖；画布内部仅由 vis-network 管理。

期望

• 大文档图谱重建不再因 LLM 截断或 60 秒前端超时失败。
• 重建失败时，已有图谱保持可用，不产生空图或部分替换。
• 图谱页加载、切换详情页 tab、切换侧边栏路由均正常。
• 返回图谱页后 canvas 能正常重新渲染。

备注

• 已覆盖图谱抽取截断重试、JSON 不完整重试、节点/关系去重、失败不替换旧图、前端重建请求超时等回归场景。
• vis-network 等直接操作 DOM 的库，其挂载容器内不应放置 Vue 管理节点；遮罩、提示等 UI 应放在外层覆盖。

[larry-zy]

@hxxxi-malog Please complete this issue