# 技術FAQ

シミュレーション、評価手法、現在の提供形態についてのよくある質問に答えます。

出典: https://flovia.dev/docs/ja/faq/

## Floviaは具体的に何をシミュレーションしますか？

Floviaは、定義した条件の下で、エージェントがタスクに取り組む過程をシミュレーションします。対象は、候補の発見、プロバイダーの選択、操作の特定、有効な呼び出し、設定した経路での実行、結果の利用可能性、回答の完了です。タスク定義、ツール仕様、採点基準があるため、実行過程を調べ、実行間で比較できます。

## 実際にモデルを呼び出していますか？

はい。Live LLM / Mock Toolの段階別評価では、指定したモデルのエンドポイントを実際に呼び出し、ツール実行は準備済みの応答で評価します。オフラインのパイプラインテストでは、モデル応答も準備済みのものに置き換えることがあります。結果を読む際は、モデル呼び出しの経路とツール実行の経路を必ず確認してください。この二つは別々に設定します。

## シミュレーションの合格は実APIの動作を証明しますか？

いいえ。実際のAPI応答の代わりにあらかじめ用意したデータを使って評価する場合、確認できるのは、AIが正しい呼び出しを組み立て、そのデータをもとに適切に回答できるかどうかです。実際のAPIが正しく動作するかどうかは、APIに接続して別途テストする必要があります。

- [評価結果の適用範囲](https://flovia.dev/docs/ja/metrics-and-evidence/): 比較、実行、再検証の結果を、次の判断にどう使うか。

## どのような技術的手法を使っていますか？

評価エンジンは、タスクに基づく実験設計、バージョン管理された入出力仕様、段階的な関数呼び出し、決定的なスキーマ・意味検証、モデル補助の完了評価、条件を統制したペア型メタデータ実験、証拠の来歴管理を組み合わせます。対応する実験設計では、循環ラテン方格で候補位置を均衡化します。適用可能な指標には、プロンプト単位または意図単位のクラスターブートストラップ、ペア化したクラスターブートストラップを使います。各評価では、実際に使った手法と設定を明示します。

## 評価に使う手法はどう選びますか？

答えたい問いに合わせて組み合わせます。失敗箇所の診断にはタスクごとの条件検証と段階別の評価を使い、説明文の変更には条件を揃えたペア比較を使います。候補の提示順による影響を調べる実験ではラテン方格を、対応する指標の区間推定にはクラスターブートストラップを使います。各評価では、適用する手法と設定を実験計画に記録します。

## 単に言及されたかを調べるのと、どう違いますか？

言及の確認で分かるのは、プロダクトが現れたかどうかです。ファネルではさらに、選択されたか、正しい操作にたどり着いたか、有効な引数を指定したか、利用できるデータを得たか、タスクを完了したかを確認します。これにより、可視性が改善しても正しく利用されない場合に、どの変更が必要かを特定します。

## メタデータA/Bで自然発見を測定できますか？

いいえ。固定候補のメタデータA/Bは、指定した候補への提示を統制した条件での動作を測定するもので、自然発見を示すものではありません。候補を与えない評価は別の問いに答えます。実際にウェブから取得されたと主張するには、その評価での取得の証拠が必要です。

## Floviaはどう利用しますか？ 公開APIはありますか？

最初の評価は無料です。30分の打ち合わせで、APIやMCPを使ってエージェントに完了してほしいタスクを決めます。Floviaが評価を実行し、専用ダッシュボードで最初の結果をお届けします。

Floviaの公式サイトにある評価依頼フォームから始められます。Floviaがチームと評価範囲を決め、結果、失敗分析、修正ガイダンス、再検証結果を、お客様専用の非公開ダッシュボードで提供します。現在、公開Flovia API、SDK、MCPサーバーはありません。

## 複数ステップのワークフローを評価できますか？

PromptCaseでは、タスクに対して定義した操作の選択、引数、結果に基づく回答を評価します。複数の処理をまとめた操作も扱えますが、エージェントが独立した呼び出しを順に組み立てるワークフローは、このプロファイルの対象外です。評価したいワークフローに合う実行経路を、評価範囲を決める際に確認します。

- [実行環境と評価範囲](https://flovia.dev/docs/ja/simulation-engine/): モデル呼び出し、ツール応答、完了判定のつながりを確認できます。

## 推奨された変更は誰が実装しますか？

お客様のポリシーに合わせて、修正の進め方を選べます。お客様のチームが推奨された変更をレビューし、自社環境に反映する方法に加え、EnterpriseではGitHub連携による半自動の修正フローも利用できます。GitHub連携の場合も、レビューとデプロイはお客様のチームが判断します。変更後はFloviaが再評価し、改善した点と次に取り組む課題を確認できます。