# 指標と証拠

結果を、母集団・不確実性・実行条件・裏付けとなる実行記録と併せて読みます。

出典: https://flovia.dev/docs/ja/metrics-and-evidence/

## まず分母を確認する

評価結果は、どの変更を採用し、次に何を検証するかを決めるために使います。対象のタスクとモデルを確認し、変更前後の結果を比べ、実行記録から何が変わったのかを読み取ります。

率を読むときは、まず何を数えたかを確認します。Floviaの指標には、推定値、該当する場合は分子と分母、評価対象の実行数、欠測数、利用できる場合は区間推定の方法を記録します。段階への累積到達率と条件付き遷移率では、母集団が異なります。

| 見方 | 読み方 |
| --- | --- |
| 段階への累積到達率 | 定義した母集団のうち、何件がこの段階に到達したか？ 前の段階での脱落は、後の段階への到達率にも影響します。 |
| 条件付き遷移率 | 前の段階で条件を満たした実行のうち、何件が次の段階を通過したか？ |
| タスク全体の完了率 | 評価対象のタスクのうち、何件が評価経路全体を通じて完了したか？ |
| ペア比較による改善量 | 対応付けたベースラインと変更版の観測で、結果はどう異なったか？ |

計算の説明例 · 顧客の実測値ではありません

```text
# 説明用の数値です。顧客の実測値ではありません。
評価対象100タスク → 選択60件 → 有効な呼び出し45件
選択への到達率：60 / 100 = 60%
呼び出しへの到達率：45 / 100 = 45%
選択から呼び出しへの遷移率：45 / 60 = 75%

ベースラインの完了率：30%
変更版の完了率：42%
差：+12パーセントポイント
```

インフラエラー、未観測の段階、Judge結果の欠測は、それぞれ意味が異なります。除外と欠測の扱いは、選択した指標の定義に従います。完全な適格ペアを使う推定方法もあれば、計画した母集団の集計として欠測を分母に残すものもあります。一般的な計算式より、レポートに明示された方針を優先して読みます。

## 同じタスクの反復を考慮する

同じプロンプトを繰り返した実行は、互いに関連する観測です。選択した指標が対応している場合、エンジンはプロンプト単位または意図単位のクラスターブートストラップで区間を推定します。タスクのクラスターをまとめて再標本化することで、そのまとまりを保ちます。対応する評価経路のメタデータ改善量の推定には、ペア化したクラスターブートストラップを使えます。

区間を報告するのは、選択した方法の要件を満たす場合だけです。区間がないことは、不確実性がゼロという意味ではありません。モデル間で動作が異なる場合やタスク集合が小さい場合は特に、全体集計とともにモデル別・タスクファミリー別の結果を確認します。

確認実験に対応する評価経路では、カバレッジ、サンプル数、推定の精度、元の実行までたどれる証拠が、あらかじめ決めた要件を満たすかを確認します。これにより、有望な初期結果と、確認実験の基準を満たした結果を区別できます。記述的なファネルA/Bには、その評価で定義した推定方法を適用します。

## 結果から個々の実行までたどる

- **計画:** 評価範囲と入力バージョン
- **実行:** 判断と結果
- **採点:** チェックと評価基準
- **知見:** 指標と診断

- 評価の定義：タスク、プロンプト、モデル、候補条件、実行経路、測定期間。
- カバレッジ：計画した実行と完了した実行、欠測、除外、失敗理由。
- 実行の証拠：候補と選択の出力、ツール呼び出し、引数検証、実行結果、到達した場合の回答。
- 採点の来歴：決定的なチェック、Judgeの状態、評価基準、選択した採点バージョン。
- 比較の証拠：ベースラインと変更版の識別情報、変更フィールド、ペアリング、推定方法、該当する適格性確認。

## 適用範囲：結果が答えられること

評価は、検証したタスク、モデル、候補の提示条件、実行環境、測定期間に結び付きます。この範囲を確認すると、変更を採用できるか、追加で何を検証すべきかを判断できます。

| 証拠 | 判断に使えること | 追加の証拠が必要なこと |
| --- | --- | --- |
| 固定候補での比較 | 提示した候補の中での選択や利用の変化 | 候補を提示しない場合の発見や、ウェブからの取得 |
| fixture環境での実行 | 定義した応答仕様に対する呼び出しと回答の正しさ | 実APIの可用性、認証、レイテンシ |
| 条件を揃えた再検証 | 検証範囲で改善した段階と、残る失敗の特定 | 顧客の本番利用、コンバージョン、売上への影響 |

要求したモデルの識別情報は記録します。実際に応答したモデルを特定するには、プロバイダー側の証拠も必要です。反復や関連タスクでの追加検証によって、初期結果の先へ証拠を広げられます。