技術FAQ
ページをコピー
シミュレーション、評価手法、現在の提供形態についてのよくある質問に答えます。
Floviaは具体的に何をシミュレーションしますか？
Floviaは、定義した条件の下で、エージェントがタスクに取り組む過程をシミュレーションします。対象は、候補の発見、プロバイダーの選択、操作の特定、有効な呼び出し、設定した経路での実行、結果の利用可能性、回答の完了です。タスク定義、ツール仕様、採点基準があるため、実行過程を調べ、実行間で比較できます。
実際にモデルを呼び出していますか？
はい。Live LLM / Mock Toolの段階別評価では、指定したモデルのエンドポイントを実際に呼び出し、ツール実行は準備済みの応答で評価します。オフラインのパイプラインテストでは、モデル応答も準備済みのものに置き換えることがあります。結果を読む際は、モデル呼び出しの経路とツール実行の経路を必ず確認してください。この二つは別々に設定します。
シミュレーションの合格は実APIの動作を証明しますか？
いいえ。実際のAPI応答の代わりにあらかじめ用意したデータを使って評価する場合、確認できるのは、AIが正しい呼び出しを組み立て、そのデータをもとに適切に回答できるかどうかです。実際のAPIが正しく動作するかどうかは、APIに接続して別途テストする必要があります。
どのような技術的手法を使っていますか？
評価エンジンは、タスクに基づく実験設計、バージョン管理された入出力仕様、段階的な関数呼び出し、決定的なスキーマ・意味検証、モデル補助の完了評価、条件を統制したペア型メタデータ実験、証拠の来歴管理を組み合わせます。対応する実験設計では、循環ラテン方格で候補位置を均衡化します。適用可能な指標には、プロンプト単位または意図単位のクラスターブートストラップ、ペア化したクラスターブートストラップを使います。各評価では、実際に使った手法と設定を明示します。
評価に使う手法はどう選びますか？
答えたい問いに合わせて組み合わせます。失敗箇所の診断にはタスクごとの条件検証と段階別の評価を使い、説明文の変更には条件を揃えたペア比較を使います。候補の提示順による影響を調べる実験ではラテン方格を、対応する指標の区間推定にはクラスターブートストラップを使います。各評価では、適用する手法と設定を実験計画に記録します。
単に言及されたかを調べるのと、どう違いますか？
言及の確認で分かるのは、プロダクトが現れたかどうかです。ファネルではさらに、選択されたか、正しい操作にたどり着いたか、有効な引数を指定したか、利用できるデータを得たか、タスクを完了したかを確認します。これにより、可視性が改善しても正しく利用されない場合に、どの変更が必要かを特定します。
メタデータA/Bで自然発見を測定できますか？
いいえ。固定候補のメタデータA/Bは、指定した候補への提示を統制した条件での動作を測定するもので、自然発見を示すものではありません。候補を与えない評価は別の問いに答えます。実際にウェブから取得されたと主張するには、その評価での取得の証拠が必要です。
Floviaはどう利用しますか？ 公開APIはありますか？
最初の評価は無料です。30分の打ち合わせで、APIやMCPを使ってエージェントに完了してほしいタスクを決めます。Floviaが評価を実行し、専用ダッシュボードで最初の結果をお届けします。
Floviaの公式サイトにある評価依頼フォームから始められます。Floviaがチームと評価範囲を決め、結果、失敗分析、修正ガイダンス、再検証結果を、お客様専用の非公開ダッシュボードで提供します。現在、公開Flovia API、SDK、MCPサーバーはありません。
複数ステップのワークフローを評価できますか？
PromptCaseでは、タスクに対して定義した操作の選択、引数、結果に基づく回答を評価します。複数の処理をまとめた操作も扱えますが、エージェントが独立した呼び出しを順に組み立てるワークフローは、このプロファイルの対象外です。評価したいワークフローに合う実行経路を、評価範囲を決める際に確認します。
推奨された変更は誰が実装しますか？
お客様のポリシーに合わせて、修正の進め方を選べます。お客様のチームが推奨された変更をレビューし、自社環境に反映する方法に加え、EnterpriseではGitHub連携による半自動の修正フローも利用できます。GitHub連携の場合も、レビューとデプロイはお客様のチームが判断します。変更後はFloviaが再評価し、改善した点と次に取り組む課題を確認できます。