# Floviaとは

エージェントがプロダクトをどう発見し、選択し、利用するかを理解する。失敗した箇所を、次の改善につなげます。

出典: https://flovia.dev/docs/ja/

## エージェント体験を改善する評価サイクル

Floviaは、APIやMCPツールを開発するチームのためのAgent Experience Optimizerです。AIエージェントがプロダクトを選び、正しく使い、ユーザーのタスクを完了できるかを評価します。どの段階でつまずいたかを特定し、具体的な修正と再検証につなげます。

プロダクトが候補に挙がっても、呼び出すエンドポイントや引数を誤ればタスクは完了しません。Floviaは、言及されたかどうかの先まで追跡し、API、ツールの説明、ドキュメントのどこを変えれば正しく使われるようになるかを特定します。

AX Simulationは、Floviaの評価手法です。エージェントの動作を、条件を統制した実験として評価します。タスクに基づくシナリオ、ネイティブな関数呼び出し、入出力仕様の検証、段階別の採点を組み合わせ、プロダクトの選択からタスク完了までの障害を特定します。その後、条件を揃えたペア実験で、対象を絞った変更の前後を比較します。専用ダッシュボードでは、証拠から修正案、再検証までを確認できます。

利用する際は、評価を依頼し、Floviaのチームと対象範囲を決めます。結果、失敗の分析、修正案、再検証の結果は、専用ダッシュボードで確認できます。

- **定義:** タスクと成功基準
- **シミュレーション:** モデルとツール環境
- **診断:** 評価段階と証拠
- **改善:** 変更と条件を揃えた再検証

## 例：APIの使い方の案内を改善する

ブロックチェーンのデータを提供するAPIで、ドキュメント更新前後のAIの回答を比較しました。更新前は取得方法を特定できなかったり、別の用途の機能を案内したりしていましたが、更新後は取引IDだけを取得する正しい方法を案内できるようになりました。

リアルタイム配信でも、更新後は「接続情報を取得するだけでは配信は始まらず、開発者が接続処理を実行する必要がある」と正しく説明できました。

- [改善事例を詳しく見る](https://flovia.dev/docs/ja/improvement-loop/): 機能ごとの変更前後の比較を紹介します。

## 評価結果をダッシュボードで確認する

評価の概要から、優先する改善、根拠となる実行記録、実装用プロンプトまで確認できます。指摘の理由を確かめてから修正に進めます。

- [ダッシュボードの画面例を見る](https://flovia.dev/docs/ja/improvement-loop/#dashboard-example): 概要、指摘、証拠を同じ例でたどります。

## プロダクトの判断につながる技術

エンジンは、実験設計、実行可能なタスクの検証仕様、証拠をたどれる測定を組み合わせます。各評価では、確認したい問いと実行経路に適した手法を選びます。

| 手法 | 観測できること | プロダクトの判断 |
| --- | --- | --- |
| ペア比較＋ラテン方格による候補位置の均衡化 | 説明文の変更前後の動作（対応する実験では、タスクと候補位置を統制） | どの説明を、さらに多くのユースケースで再検証するか？ |
| スキーマ＋引数の意味検証 | 選択した操作と引数が、タスクの検証仕様を満たすか | ツール名、パラメーターの説明、操作の役割分担のどこを変えるか？ |
| 結果の検証＋基準に基づく回答評価 | 返されたデータや最終回答のどこが、タスクの要件を満たさないか | どのフィールドや解釈の説明があれば完了に進めるか？ |
| クラスターブートストラップ＋バージョン管理された証拠 | タスク群を考慮した不確実性（対応する指標の場合）と、各結果の元になった入力 | 結果を支える証拠はどの程度あり、次に何を検証すべきか？ |

## 評価依頼から改善まで

最初の評価は無料です。30分の打ち合わせで、APIやMCPを使ってエージェントに完了してほしいタスクを決めます。Floviaが評価を実行し、専用ダッシュボードで最初の結果をお届けします。

1. 情報を用意する。プロダクトとドキュメントのURL、代表的なタスク、すでに分かっているつまずきを共有します。
2. 30分の打ち合わせで評価範囲を決める。お客様のチームとFloviaで、対象タスク、モデル、実行環境、成功基準を確認します。
3. 評価結果を確認する。Floviaが評価を実行し、つまずいた箇所、根拠となる実行記録、修正案を専用ダッシュボードにまとめます。
4. 修正を実装する。お客様のチームが修正案をレビューし、自社環境に反映します。Enterpriseでは、レビューとデプロイの判断をお客様側に残したまま、GitHub連携による半自動修正も選べます。
5. 改善を確かめる。Floviaが同等の条件で再検証し、変更前後の結果を一緒に確認して、次の改善を決めます。再検証はご利用プランの範囲に応じて実施します。

## 用意するもの

| 入力 | 目的 |
| --- | --- |
| プロダクトのドキュメントとインターフェースの説明 | エージェントが学べる情報と、利用できる操作を定義します。 |
| 代表的なユーザーリクエスト | プロダクトにとって重要なタスクを評価の軸にします。 |
| 期待する動作と必要な事実 | タスクが正しく完了したかを検証可能にします。 |
| 関連する代替候補と制約 | 別のツールの方が適切なケースも含め、選択の妥当性を評価できるようにします。 |
| 変更案がある場合はその内容 | 条件を統制した比較に使うベースラインと変更版を定義します。 |

まず公式サイトから評価をご依頼ください。Floviaが評価エンジンを運用し、結果、失敗分析、修正ガイダンス、再検証結果を専用ダッシュボードで提供します。チームは修正内容をレビューし、自社環境に反映します。

評価を始める前に、使用するモデルのエンドポイントとJudge、ツール応答データの準備担当、対象タスクと反復回数、結果を確認する時期をFloviaと決めます。評価計画に記録しておくと、準備の分担と、結果で判断したいことが明確になります。

## 評価依頼を準備する

依頼用テンプレート · コピーして記入

```text
プロダクト・ドキュメントのURL：
エージェントに完了してほしいタスク：
期待する結果・必要な情報：
比較したい候補：
既知の失敗・試したい変更：
制約・Floviaに確認したいこと：
```

- [エージェントと依頼をまとめる](https://flovia.dev/skills/prepare-flovia-evaluation/SKILL.md): ドキュメントを読み、評価依頼をまとめるためのスキルです。シミュレーションの実行機能は含みません。
- [プランと料金（英語）](https://flovia.dev/pricing): 現在のプランと、各プランに含まれる内容を確認できます。
- [評価について相談する（英語）](https://flovia.dev/contact): プロダクトとタスクをチームに共有します。非公開資料を渡す前に、対象範囲やデータの取り扱いを確認してください。

## 評価手法を詳しく読む

- [シナリオを設計する](https://flovia.dev/docs/ja/scenario-design/): 判断したいことを、成功基準を検証できるタスクに落とし込みます。
- [シミュレーションエンジンの仕組み](https://flovia.dev/docs/ja/simulation-engine/): モデル呼び出し、ツールの入出力仕様、採点の流れを確認します。
- [7段階のエージェントファネル](https://flovia.dev/docs/ja/agent-funnel/): 各段階の測定対象と、失敗箇所の特定方法を確認します。
- [条件を統制した比較実験](https://flovia.dev/docs/ja/controlled-experiments/): ペアリング、候補順序のローテーション、比較設計を理解します。
- [指標と証拠](https://flovia.dev/docs/ja/metrics-and-evidence/): 分母、不確実性、結果を裏付ける証拠の読み方を確認します。