背景
評価スコアの信頼性をレポート実装前に担保するための前提タスクです。Evaluation backend が SDK を git pin している状態で metric list / request contract が drift すると、private fallback や不完全な validation によって score correctness の前提が崩れます。
Parent: https://github.com/elith-co-jp/prd-genflux-evaluation-backend/issues/222
SSOT: prd-genflux-evaluation-backend/docs/architecture/evaluation-score-correctness-ssot.md
Source: prd-genflux-evaluation-backend/docs/architecture/evaluation-score-correctness-ssot.md PR-5 / SDK contract drift note
Scope
- SDK の metric list / request types / report types を backend contract と同期する
VALID_METRICS drift を解消する
- Evaluation backend の private
_post fallback が不要になる公開 API を用意する
- threshold / status / skipped / failed の表現を SDK 型に追加する
Acceptance Criteria
- SDK public API で score correctness に必要な metric/status fields を扱える
- backend が private fallback に依存しない
- SDK と Platform/Evaluation backend の metric list drift を検出する test または check がある
- PyPI release 可能な形で version 更新方針が明記されている
Project: GENFLUX / Status: Todo
背景
評価スコアの信頼性をレポート実装前に担保するための前提タスクです。Evaluation backend が SDK を git pin している状態で metric list / request contract が drift すると、private fallback や不完全な validation によって score correctness の前提が崩れます。
Parent: https://github.com/elith-co-jp/prd-genflux-evaluation-backend/issues/222
SSOT:
prd-genflux-evaluation-backend/docs/architecture/evaluation-score-correctness-ssot.mdSource:
prd-genflux-evaluation-backend/docs/architecture/evaluation-score-correctness-ssot.mdPR-5 / SDK contract drift noteScope
VALID_METRICSdrift を解消する_postfallback が不要になる公開 API を用意するAcceptance Criteria
Project: GENFLUX / Status: Todo