Skip to content

[Evaluation Score Correctness][S8] SDK metric contract / VALID_METRICS を backend と同期する #36

Description

@NaoyaTakashima

背景

評価スコアの信頼性をレポート実装前に担保するための前提タスクです。Evaluation backend が SDK を git pin している状態で metric list / request contract が drift すると、private fallback や不完全な validation によって score correctness の前提が崩れます。

Parent: https://github.com/elith-co-jp/prd-genflux-evaluation-backend/issues/222
SSOT: prd-genflux-evaluation-backend/docs/architecture/evaluation-score-correctness-ssot.md
Source: prd-genflux-evaluation-backend/docs/architecture/evaluation-score-correctness-ssot.md PR-5 / SDK contract drift note

Scope

  • SDK の metric list / request types / report types を backend contract と同期する
  • VALID_METRICS drift を解消する
  • Evaluation backend の private _post fallback が不要になる公開 API を用意する
  • threshold / status / skipped / failed の表現を SDK 型に追加する

Acceptance Criteria

  • SDK public API で score correctness に必要な metric/status fields を扱える
  • backend が private fallback に依存しない
  • SDK と Platform/Evaluation backend の metric list drift を検出する test または check がある
  • PyPI release 可能な形で version 更新方針が明記されている

Project: GENFLUX / Status: Todo

Metadata

Metadata

Labels

No labels
No labels

Type

No type

Projects

No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions