feat(engines): vLLM as 6th UI-connected engine + Gemini critical 4 fix (supersedes #296)

[hang-in]

yodakrkids 의 PR #296 (vLLM 6번째 엔진 추가) 위에 Gemini code review 의 critical 4 건 fix 를 쌓은 PR. PR #296 은 fork branch 라 직접 push 불가 + main 의 PR #295 (explicit endpoint detect trigger) 와 충돌 상태 → cherry-pick + 4 fix + 충돌 해결 후 별 PR 로 재구성.

머지 후 PR #296 close 예정 (yodakrkids 의 authorship 은 commit 9fc1a13 에 보존).

변경 요약

Base: yodakrkids 의 vLLM 엔진 추가 (commit 9fc1a13, cherry-pick from #296)

• openai_compat.rs: vllm_base_url() / discover_vllm() + engine_name 분기 + VLLM_API_KEY 처리
• agent_detect.rs: probe_vllm() (OpenAI-compatible /v1/models)
• agents.rs: start_openai_compat_stream 의 base_url 분기에 vllm 추가
• model_discovery.rs / executor.rs: dispatch 분기에 vllm 추가
• UI (MetaAgentSelector / AgentsSection / EngineSelector / RuntimeSection 등): vllm 노출 + endpoint 입력 + ko/en i18n
• 충돌 해결: main 의 PR fix(meta-agent): explicit endpoint detect trigger (Enter / button) #295 explicit-trigger 패턴 (Enter / refresh button) 유지 + vllm 옵션 추가

Fix 1+2 — vLLM RT routing (commit 3efcbb8)

executor.rs:55 (run_participant non-streaming) 와 executor.rs:184 (stream_participant streaming) 의 vllm 분기가 openai_compat::run / stream_run 호출 → 두 함수 모두 내부 ollama_base_url() (OLLAMA_HOST 기본 localhost:11434) 하드코딩 → vLLM 요청이 ollama 로 잘못 라우팅되는 회귀.

수정:

• run_participant: Handle::current().block_on(stream_run_with_base(input, vllm_base_url(), ...)) (spawn_blocking sync 컨텍스트)
• stream_participant: engine_key 별로 base 결정 후 stream_run_with_base 직접 await

Fix 3 — vLLM eval routing (commit 4bf9d79)

agents.rs:614 run_eval_agent 동일 회귀. Handle::try_current() + block_on(stream_run_with_base(..., vllm_base_url(), ...)) 으로 수정. openai_compat::run 의 패턴과 동일.

Fix 4 — vLLM probe Authorization header (commit 474bd5c)

agent_detect.rs:275 probe_vllm 가 Authorization 헤더 없이 GET 호출 → --api-key 옵션으로 보호된 vLLM 인스턴스에서 401 거부로 detect 실패. VLLM_API_KEY env 있으면 Bearer <key> 헤더 추가 (openai_compat::discover_vllm 동일 패턴).

Verification

항목	결과
cargo check	PASS (5.33s after baseline)
cargo test --lib	656 passed / 0 failed
tsc --noEmit	clean (errors 0)
vitest run	478 passed / 0 failed (46 files)

회귀 가드 grep

rg -n 'openai_compat::run\b' src-tauri/src/
# → ollama 분기만 잔존 (commands/agents.rs:614 + commands/roundtable_helpers/executor.rs:54),
#   vllm 은 모두 stream_run_with_base + vllm_base_url 으로 라우팅됨

rg -n 'stream_run_with_base.*vllm_base_url|vllm_base_url' src-tauri/src/
# → 6 곳에서 일관 사용 (openai_compat 정의 + start_openai_compat_stream + executor 2건 + agents 1건)

rg -n 'VLLM_API_KEY' src-tauri/src/
# → 3 곳 — openai_compat::discover_vllm, agent_detect::probe_vllm,
#   openai_compat::stream_run_with_base (engine_name == "vLLM" 분기)

다른 엔진 파일 (claude/codex/gemini/ollama/lmstudio/claude_sdk_session) 변경 0 — git diff main...HEAD --name-only 로 확인.

Scope 메모

http_api/agents.rs:188 와 :400 의 ollama 분기는 vllm 미포함 — PR #296 의 누락 범위. 단, vllm 자체 dispatch 가 없으므로 silent 회귀 영역은 아님 (_ => claude::run fallback). 별 PR 에서 처리 권장.

CI 정책

cross-platform 영역 (Rust agent transport 변경) → CI watch 후 모두 SUCCESS 확인 후 일반 squash merge. admin merge 회피.

Refs

• 슈퍼시드: feat(engines): add vLLM as 6th UI-connected engine — RT, meta agent, … #296 (yodakrkids)
• Gemini review: PR feat(engines): add vLLM as 6th UI-connected engine — RT, meta agent, … #296 inline comments

🤖 Generated with Claude Opus 4.7 (1M context)

[gemini-code-assist]

Code Review

This pull request introduces support for vLLM as an OpenAI-compatible engine, implementing model discovery, endpoint detection, streaming execution, and roundtable evaluation routing, alongside corresponding frontend UI updates. The code review feedback is highly constructive and identifies several robustness improvements: normalizing the vLLM base URL to prevent duplicate /v1 suffixes, filtering out empty API key environment variables to avoid sending empty Bearer tokens that trigger authorization errors, and using Handle::try_current() instead of Handle::current() to prevent potential panics in non-Tokio contexts.

[gemini-code-assist]

VLLM_ENDPOINT가 /v1 접미사를 포함하여 설정된 경우(예: http://localhost:8000/v1), url이 http://localhost:8000/v1/v1/models와 같이 중복되어 잘못된 경로로 생성됩니다. 이로 인해 모델 감지(discovery)가 실패할 수 있으므로, probe_vllm에서와 동일하게 /v1 접미사를 안전하게 처리하도록 URL 정규화 로직을 추가하는 것이 좋습니다.

pub fn discover_vllm() -> Option<Vec<String>> {
    let endpoint = vllm_base_url();
    let base_raw = endpoint.trim_end_matches('/');
    let base = if base_raw.ends_with("/v1") { base_raw.to_string() } else { format!("{}/v1", base_raw) };
    let url = format!("{}/models", base);

[gemini-code-assist]

VLLM_API_KEY 환경 변수가 빈 문자열("")로 설정되어 있는 경우에도 Authorization: Bearer 헤더가 요청에 추가되어 일부 vLLM 인스턴스에서 인증 에러가 발생할 수 있습니다. probe_vllm에서와 마찬가지로 토큰이 비어있지 않은지(!token.is_empty()) 확인한 후 헤더를 추가하도록 수정하는 것이 안전합니다.

    if let Ok(token) = std::env::var("VLLM_API_KEY") {
        if !token.is_empty() {
            req = req.header("Authorization", format!("Bearer {}", token));
        }
    }

[gemini-code-assist]

API 키 환경 변수가 존재하지만 빈 문자열인 경우, 요청 헤더에 빈 Bearer 토큰이 추가되어 인증이 필요 없는 로컬 인스턴스에서 401/403 에러를 유발할 수 있습니다. .filter(|t| !t.is_empty())를 사용하여 빈 문자열인 경우 None으로 처리하도록 개선하는 것이 좋습니다.

Suggested change

	let api_key = match engine_name {
	"LM Studio" => std::env::var("LMSTUDIO_API_KEY").ok(),
	"vLLM" => std::env::var("VLLM_API_KEY").ok(),
	_ => None,
	};
	let api_key = match engine_name {
	"LM Studio" => std::env::var("LMSTUDIO_API_KEY").ok().filter(|t| !t.is_empty()),
	"vLLM" => std::env::var("VLLM_API_KEY").ok().filter(|t| !t.is_empty()),
	_ => None,
	};

[gemini-code-assist]

위와 동일하게, stream_run_no_tools_with_base 함수에서도 빈 API 키가 요청 헤더에 빈 Bearer 토큰으로 추가되는 것을 방지하기 위해 .filter(|t| !t.is_empty()) 처리를 추가하는 것이 안전합니다.

Suggested change

	let api_key = match engine_name {
	"LM Studio" => std::env::var("LMSTUDIO_API_KEY").ok(),
	"vLLM" => std::env::var("VLLM_API_KEY").ok(),
	_ => None,
	};
	let api_key = match engine_name {
	"LM Studio" => std::env::var("LMSTUDIO_API_KEY").ok().filter(|t| !t.is_empty()),
	"vLLM" => std::env::var("VLLM_API_KEY").ok().filter(|t| !t.is_empty()),
	_ => None,
	};

[gemini-code-assist]

tokio::runtime::Handle::current()는 현재 스레드가 Tokio 런타임 컨텍스트 외부에서 실행될 경우 패닉(panic)을 발생시킵니다. run_participant가 항상 Tokio 컨텍스트 내에서 호출된다고 하더라도, 테스트 코드나 다른 동기적 컨텍스트에서의 호출 가능성을 고려하여 agents.rs에서와 같이 Handle::try_current()를 사용해 안전하게 에러를 처리하는 것이 좋습니다.

            "vllm" => {
                let res = tokio::runtime::Handle::try_current()
                    .map_err(|_| AppError::Agent("No tokio runtime available for vllm".into()))
                    .and_then(|rt| {
                        rt.block_on(async {
                            openai_compat::stream_run_with_base(
                                run_input,
                                openai_compat::vllm_base_url(),
                                |_: String| {},
                                |_: String| {},
                            ).await
                        })
                    });
                (res, "vllm")
            }