gemini api 使用openai 兼容的url 使用时 tool_call 有问题

[momomobinx]

gemini api :
https://generativelanguage.googleapis.com/v1beta/openai/v1

为什么没有使用原版，因为我没有找到在ui哪里配置单独的代理

我是用openai 兼容api那里填入key 还有配置单独的代理（现在google 封的太厉害了）
然后调用工具会遇到报错

AI_TypeValidationError: Type validation failed: Value: {"choices":[{"delta":{"role":"assistant","tool_calls":[{"function":{"arguments":"{"filePath":"D:\\xxxx\\node_handler.go"}","name":"read"},"id":"function-call-7079420158533790573","type":"function"}]},"finish_reason":"tool_calls","index":0}],"created":1769155105,"id":"ISpzaeWaIMC1juMP-8WqyQo","model":"models/gemini-2.5-flash","object":"chat.completion.chunk","usage":{"completion_tokens":38,"prompt_tokens":141207,"total_tokens":141245}}.
Error message: [{"code":"invalid_union","errors":[[{"expected":"number","code":"invalid_type","path":["choices",0,"delta","tool_calls",0,"index"],"message":"Invalid input: expected number, received undefined"}],[{"expected":"object","code":"invalid_type","path":["error"],"message":"Invalid input: expected object, received undefined"}]],"path":[],"message":"Invalid input"}]

[momomobinx]

AI_TypeValidationError: Type validation failed: Value: {
    "choices": [
        {
            "delta": {
                "role": "assistant",
                "tool_calls": [
                    {
                        "function": {
                            "arguments": "{"filePath":"D:xxxx\\node_handler.go"}",
                            "name": "read"
                        },
                        "id": "function-call-7079420158533790573",
                        "type": "function"
                    }
                ]
            },
            "finish_reason": "tool_calls",
            "index": 0
        }
    ],
    "created": 1769155105,
    "id": "ISpzaeWaIMC1juMP-8WqyQo",
    "model": "models/gemini-2.5-flash",
    "object": "chat.completion.chunk",
    "usage": {
        "completion_tokens": 38,
        "prompt_tokens": 141207,
        "total_tokens": 141245
    }
}.
Error message: [
    {
        "code": "invalid_union",
        "errors": [
            [
                {
                    "expected": "number",
                    "code": "invalid_type",
                    "path": [
                        "choices",
                        0,
                        "delta",
                        "tool_calls",
                        0,
                        "index"
                    ],
                    "message": "Invalid input: expected number, received undefined"
                }
            ],
            [
                {
                    "expected": "object",
                    "code": "invalid_type",
                    "path": [
                        "error"
                    ],
                    "message": "Invalid input: expected object, received undefined"
                }
            ]
        ],
        "path": [],
        "message": "Invalid input"
    }
]

[momomobinx]

好像是说 index 的值是 undefined，这个是谷歌的兼容openai api 实现的问题，不知道能不能在下游cli-proxy-api 解决这个问题

[luispater]

你再cpa中只需要填入api key即可，不用填写baseurl。然后再试试

[momomobinx]

你再cpa中只需要填入api key即可，不用填写baseurl。然后再试试

我没有使用gemini api 那里，因为我在下面没有看到单独配置代理的地方。我是用的是”openai api 兼容提供商“，并且为每个秘钥配置单独的代理

[momomobinx]

你再cpa中只需要填入api key即可，不用填写baseurl。然后再试试

这个问题能被修复吗？

[momomobinx]

看懂了，这是流式（streaming）返回里 tool_calls 结构不符合你本地类型校验的问题，不是你业务逻辑错 👍
我给你拆清楚「为什么会这样」和「怎么修」。

---

一句话结论

👉 Gemini 的 streaming tool_calls 返回里，没有 index 字段，
👉 但你用的 OpenAI / 自定义 TypeValidation（多半是 zod）要求 tool_calls[index] 必须存在，
👉 所以直接炸了：expected number, received undefined

---

具体发生了什么？

你这段返回里最关键的是这里 👇

"tool_calls": [
  {
    "function": {
      "arguments": "{\"filePath\":\"D:xxxx\\node_handler.go\"}",
      "name": "read"
    },
    "id": "function-call-7079420158533790573",
    "type": "function"
  }
]

问题点：

按照 OpenAI 官方 streaming 规范，tool_calls 每一项应该是这样：

{
  "index": 0,
  "id": "...",
  "type": "function",
  "function": {
    "name": "...",
    "arguments": "..."
  }
}

但 Gemini 2.5 Flash 的 chunk 返回里没有 index
于是你的校验器在这里报错：

choices[0].delta.tool_calls[0].index
expected: number
received: undefined

---

为什么很多人都会踩这个坑？

因为：

• Gemini 号称 OpenAI-compatible
• 但 tool_calls 的 streaming schema 并不 100% 对齐
• OpenAI SDK / zod schema / LangChain / LlamaIndex
  默认都 强依赖 index

这是目前 Gemini streaming + tool calling 的一个已知兼容性坑

---

怎么修？给你 4 种可落地方案（从推荐到凑合）

---

✅ 方案 1（最推荐）：自己补 index

在你接收到 chunk 后，进入校验之前，手动 normalize 一下：

if (chunk.choices?.[0]?.delta?.tool_calls) {
  chunk.choices[0].delta.tool_calls =
    chunk.choices[0].delta.tool_calls.map((call, i) => ({
      index: call.index ?? i,
      ...call,
    }));
}

👉 成本最低
👉 不影响 streaming
👉 和 OpenAI 行为对齐

---

✅ 方案 2：放宽 TypeValidation（zod）

如果你用的是 zod，改成：

index: z.number().optional()

或者：

tool_calls: z.array(
  z.object({
    index: z.number().optional(),
    id: z.string(),
    type: z.literal("function"),
    function: z.object({
      name: z.string(),
      arguments: z.string(),
    }),
  })
)

👉 快
👉 但后续你自己处理 tool_calls 时要小心顺序

---

⚠️ 方案 3：不要用 streaming + tool_calls（能忍的话）

stream: false

Gemini 在 非 streaming 场景下返回的是完整 tool_call，对齐度高很多。

👉 稳
👉 但你失去了实时输出

---

⚠️ 方案 4：用 Gemini 官方 SDK，不走 OpenAI schema

如果你现在是：

• OpenAI SDK
• 或者 OpenAI-compatible client
• 或 LangChain / Vercel AI SDK

那本质是在强行套 OpenAI 协议

👉 换 Gemini 官方方式可以彻底规避
👉 但改动大，不一定值

---

顺带提醒你一个隐藏雷点 ⚠️

Gemini streaming 的 arguments 可能是分片拼接的

也就是说你未来还可能遇到：

"{\"filePath\":"
"D:xxxx\\node_handler.go\"}"

正确做法是：

• 按 id 聚合
• 拼完整 arguments
• 再 JSON.parse

如果你愿意，我可以直接帮你写一个 Gemini tool_calls streaming 聚合器。

---

TL;DR（重点速记）

• ❌ 不是你错
• ❌ 不是参数错
• ✅ 是 Gemini streaming tool_calls 少了 index
• ✅ 修法：补 index / 放宽校验
• ⭐ 推荐：方案 1

如果你把你用的 SDK（OpenAI SDK / LangChain / Vercel AI / 自写）贴出来，我可以直接给你精确到文件级的修复代码。