Floviaとは

エージェント体験を改善する評価サイクル#

Floviaは、APIやMCPツールを開発するチームのためのAgent Experience Optimizerです。AIエージェントがプロダクトを選び、正しく使い、ユーザーのタスクを完了できるかを評価します。どの段階でつまずいたかを特定し、具体的な修正と再検証につなげます。

プロダクトが候補に挙がっても、呼び出すエンドポイントや引数を誤ればタスクは完了しません。Floviaは、言及されたかどうかの先まで追跡し、API、ツールの説明、ドキュメントのどこを変えれば正しく使われるようになるかを特定します。

AX Simulationは、Floviaの評価手法です。エージェントの動作を、条件を統制した実験として評価します。タスクに基づくシナリオ、ネイティブな関数呼び出し、入出力仕様の検証、段階別の採点を組み合わせ、プロダクトの選択からタスク完了までの障害を特定します。その後、条件を揃えたペア実験で、対象を絞った変更の前後を比較します。専用ダッシュボードでは、証拠から修正案、再検証までを確認できます。

利用する際は、評価を依頼し、Floviaのチームと対象範囲を決めます。結果、失敗の分析、修正案、再検証の結果は、専用ダッシュボードで確認できます。

例：APIの使い方の案内を改善する#

ブロックチェーンのデータを提供するAPIで、ドキュメント更新前後のAIの回答を比較しました。更新前は取得方法を特定できなかったり、別の用途の機能を案内したりしていましたが、更新後は取引IDだけを取得する正しい方法を案内できるようになりました。

リアルタイム配信でも、更新後は「接続情報を取得するだけでは配信は始まらず、開発者が接続処理を実行する必要がある」と正しく説明できました。

評価結果をダッシュボードで確認する#

評価の概要から、優先する改善、根拠となる実行記録、実装用プロンプトまで確認できます。指摘の理由を確かめてから修正に進めます。

プロダクトの判断につながる技術#

エンジンは、実験設計、実行可能なタスクの検証仕様、証拠をたどれる測定を組み合わせます。各評価では、確認したい問いと実行経路に適した手法を選びます。

評価依頼から改善まで#

最初の評価は無料です。30分の打ち合わせで、APIやMCPを使ってエージェントに完了してほしいタスクを決めます。Floviaが評価を実行し、専用ダッシュボードで最初の結果をお届けします。

1. 情報を用意する。プロダクトとドキュメントのURL、代表的なタスク、すでに分かっているつまずきを共有します。
2. 30分の打ち合わせで評価範囲を決める。お客様のチームとFloviaで、対象タスク、モデル、実行環境、成功基準を確認します。
3. 評価結果を確認する。Floviaが評価を実行し、つまずいた箇所、根拠となる実行記録、修正案を専用ダッシュボードにまとめます。
4. 修正を実装する。お客様のチームが修正案をレビューし、自社環境に反映します。Enterpriseでは、レビューとデプロイの判断をお客様側に残したまま、GitHub連携による半自動修正も選べます。
5. 改善を確かめる。Floviaが同等の条件で再検証し、変更前後の結果を一緒に確認して、次の改善を決めます。再検証はご利用プランの範囲に応じて実施します。

用意するもの#

まず公式サイトから評価をご依頼ください。Floviaが評価エンジンを運用し、結果、失敗分析、修正ガイダンス、再検証結果を専用ダッシュボードで提供します。チームは修正内容をレビューし、自社環境に反映します。

評価を始める前に、使用するモデルのエンドポイントとJudge、ツール応答データの準備担当、対象タスクと反復回数、結果を確認する時期をFloviaと決めます。評価計画に記録しておくと、準備の分担と、結果で判断したいことが明確になります。

評価依頼を準備する#

プロダクト・ドキュメントのURL：
エージェントに完了してほしいタスク：
期待する結果・必要な情報：
比較したい候補：
既知の失敗・試したい変更：
制約・Floviaに確認したいこと：

評価手法を詳しく読む#