比較実験

実験の前に、答えたい問いを選ぶ#

ドキュメントやツールの説明を変えることで、エージェントがプロダクトを選びやすく、正しく使いやすくなるかを比較します。まず確認したいことを決め、その問いに関わる部分だけを変更します。

これらの設計は、それぞれ異なる問いに答えます。説明文の実験は、与える情報を統制して判断への影響を調べます。発見の評価は、定義した取得条件の下で対象が現れるかを調べます。固定候補内での改善量は、自然発見の結果ではありません。

評価の目的に合う分析方法を選ぶ#

Floviaでは、タスクの失敗を診断する場合、説明文の変更をファネル全体で比較する場合、プロバイダー選択の改善量を推定する場合で、分析方法が異なります。結果から何を判断したいかに合わせて選びます。

ファネルA/Bの集計と、選択率の改善量の推定は別の分析です。確認実験では、記録されたサンプルサイズの決定根拠と証拠の確認も必要です。評価範囲を決める際に、分析方法、候補のローテーション、区間推定の方法、確認実験の要件を合意します。

ベースラインと変更版をペアにする#

メタデータA/Bでは、ベースラインと変更版で、タスク、要求するモデル、反復、候補順序、介入対象外の入力を共有します。変更するのは、計画で指定した対象フィールドだけです。実験によって、Discoveryの説明、Invocationの説明、またはその両方を変更対象にします。

共通条件：タスク × モデル × 反復 × 候補順序 × 実行経路
ベースライン：元の対象説明文
変更版：修正した対象説明文
固定するもの：競合メタデータ、ツールスキーマ、fixture、採点規則
比較するもの：選択、呼び出し、完了、失敗した段階

DiscoveryとInvocationの説明を同時に変更した場合、その結果は両方を合わせた介入の効果を測定します。差をどちらか一方の説明に帰属させるには、その説明だけを変える設計が必要です。

候補の表示位置による影響を統制する#

候補の順序は実験要因の一つです。対応するメタデータ実験では、循環ラテン方格によるローテーションを使い、各プロバイダーが各候補位置に現れるようにします。同じ順序の中でベースラインと変更版をペアにし、集計では各ラテン順序に等しい重みを与えて統合できます。

ペアリングは周辺のシナリオ条件を固定し、ローテーションは対象が現れる位置を均衡化します。この二つを組み合わせることで、代替候補の見せ方にエージェントが影響を受ける場合でも、説明変更の比較を解釈しやすくします。

この例は候補位置の均衡化を説明するもので、顧客の実験結果ではありません。実行順序や、ベースラインと変更版のどちらを先に実行するかの均衡化は、選択した実験計画に従い、すべての評価で行うわけではありません。

比較結果を、検証した範囲で解釈する#

ペア差は、指定したタスク、モデル、候補環境、測定期間において、ベースラインと変更版で動作がどう変わったかを推定します。ペアの充足状況、欠測、モデル別の結果、実際に使った推定方法と併せて読みます。

記述的なファネルA/Bの結果だけでは、統計的有意性や一般的な因果効果は示せません。確認実験には、事前に定めた証拠要件と適格性要件があります。本番環境での影響を主張するには、統制したシミュレーション比較を超える証拠が必要です。