指標と証拠

まず分母を確認する#

評価結果は、どの変更を採用し、次に何を検証するかを決めるために使います。対象のタスクとモデルを確認し、変更前後の結果を比べ、実行記録から何が変わったのかを読み取ります。

率を読むときは、まず何を数えたかを確認します。Floviaの指標には、推定値、該当する場合は分子と分母、評価対象の実行数、欠測数、利用できる場合は区間推定の方法を記録します。段階への累積到達率と条件付き遷移率では、母集団が異なります。

# 説明用の数値です。顧客の実測値ではありません。
評価対象100タスク → 選択60件 → 有効な呼び出し45件
選択への到達率：60 / 100 = 60%
呼び出しへの到達率：45 / 100 = 45%
選択から呼び出しへの遷移率：45 / 60 = 75%

ベースラインの完了率：30%
変更版の完了率：42%
差：+12パーセントポイント

インフラエラー、未観測の段階、Judge結果の欠測は、それぞれ意味が異なります。除外と欠測の扱いは、選択した指標の定義に従います。完全な適格ペアを使う推定方法もあれば、計画した母集団の集計として欠測を分母に残すものもあります。一般的な計算式より、レポートに明示された方針を優先して読みます。

同じタスクの反復を考慮する#

同じプロンプトを繰り返した実行は、互いに関連する観測です。選択した指標が対応している場合、エンジンはプロンプト単位または意図単位のクラスターブートストラップで区間を推定します。タスクのクラスターをまとめて再標本化することで、そのまとまりを保ちます。対応する評価経路のメタデータ改善量の推定には、ペア化したクラスターブートストラップを使えます。

区間を報告するのは、選択した方法の要件を満たす場合だけです。区間がないことは、不確実性がゼロという意味ではありません。モデル間で動作が異なる場合やタスク集合が小さい場合は特に、全体集計とともにモデル別・タスクファミリー別の結果を確認します。

確認実験に対応する評価経路では、カバレッジ、サンプル数、推定の精度、元の実行までたどれる証拠が、あらかじめ決めた要件を満たすかを確認します。これにより、有望な初期結果と、確認実験の基準を満たした結果を区別できます。記述的なファネルA/Bには、その評価で定義した推定方法を適用します。

結果から個々の実行までたどる#

• 評価の定義：タスク、プロンプト、モデル、候補条件、実行経路、測定期間。
• カバレッジ：計画した実行と完了した実行、欠測、除外、失敗理由。
• 実行の証拠：候補と選択の出力、ツール呼び出し、引数検証、実行結果、到達した場合の回答。
• 採点の来歴：決定的なチェック、Judgeの状態、評価基準、選択した採点バージョン。
• 比較の証拠：ベースラインと変更版の識別情報、変更フィールド、ペアリング、推定方法、該当する適格性確認。

適用範囲：結果が答えられること#

評価は、検証したタスク、モデル、候補の提示条件、実行環境、測定期間に結び付きます。この範囲を確認すると、変更を採用できるか、追加で何を検証すべきかを判断できます。

要求したモデルの識別情報は記録します。実際に応答したモデルを特定するには、プロバイダー側の証拠も必要です。反復や関連タスクでの追加検証によって、初期結果の先へ証拠を広げられます。