評価

品質の問題が自動的に検出されるようになり、ユーザーからのクレームで初めて気づくということがなくなります。独自のスコアリングサービスを一度接続するだけで、FailproofAI Observability がすべての完了済み実行を自動的に評価します。ユーザーが問題を感じる前に、ヘルプフルネスの低下やハルシネーションの急増を自分で発見できます。 セッショングリッドのすべての実行にスコアが表示されます。赤・黄・緑のバッジにより、1件もトランスクリプトを開かずに問題のある実行が一目でわかります。

​

手動サンプリングから解放される

これまではいくつかの実行をスポットチェックして、残りは問題ないと願うしかありませんでした。今では、完了したすべてのセッションが終了した瞬間に、あなたが重視する指標でスコアリングされます。ヘルプフルネス・ツール効率・正確性・安全性など、品質基準として設定したあらゆる項目が対象です。スコアのキーはあなたが定義し、FailproofAI Observability はエバリュエーターが返すデータを保存・トレンド表示します。スコアリングを免れる実行はなく、サポートチケットで初めて回帰に気づくということもなくなります。 スコアは /<org-slug>/sessions（サイドバー → observe → sessions）のセッショングリッドに表示され、各行にバッジクラスターが付きます。基準を下回った実行だけを確認したい場合は、スコア範囲でグリッドをフィルタリングできます。たとえばヘルプフルネスが 0.5 未満の実行を絞り込めば、読む価値のある実行だけが表示されます。スコアの閲覧には evaluations:read 権限が必要です。

​

低スコアの原因を把握する

数値は実行が弱いことを示しますが、詳しい原因はセッションページで確認できます。任意の実行を開くと、右パネルの冒頭にサマリーが表示され、各指標のバーとともにエバリュエーター独自の理由が示されます。「正確性が 0.4 だった」という状況から、具体的に誤った主張が何だったかを数秒で特定できます。 セッション詳細ビュー: サマリー・各指標のスコアバー・各スコアの理由が、実行のイベントタイムラインの隣に表示されます。 より精度の高いエバリュエーターをリリースした場合や、スコアリング前にクラッシュした実行を確認したい場合は、再評価ボタン（evaluations:trigger が必要）でその場でセッションを再スコアリングできます。最新の結果がタイムラインに追記され、以前のスコアは履歴として残ります。このボタンは /<org-slug>/sessions/<session-id> にあります。

​

フリート全体の品質トレンドを監視する

1件の実行のスコアが低いのはノイズですが、コホート全体が下落しているのはシグナルです。保存したダッシュボードでスコアをトレンドとして一目で確認できます。今週と先週の平均ヘルプフルネス、エージェント別・環境別の比較などが可能です。 保存した品質ダッシュボードは指定したスコアキーをトレンド表示するため、インシデントになる前にゆるやかな下落を早期に検知できます。 ダッシュボードは /<org-slug>/dashboards（サイドバー → analyze → dashboards）にあり、組織全体で共有されます。各カードは対象セッションを集計し、件数・各指定スコアの平均・トレンドのスパークラインを表示します。「セッションで開く」をクリックすると、任意の数値の背後にあるフィルタリング済みの実行に直接移動できます。閲覧には dashboards:read と evaluations:read の両方が必要です。

​

エバリュエーターを一度接続する

スコアリングはオプトイン制で、FailproofAI Observability をスコアラーに向けるまで完全に無効です。小さな HTTP サービスを立ち上げ（Observability にはコピーして使える参照実装が含まれています）、サーバーに 2 つの値を設定すれば、それ以降のすべての実行が自動的にスコアリングされます。詳細なウォークスルー・スコアリングの仕様・SDK は詳細ガイドに記載されています。

​

関連ドキュメント

• 評価スイート: エバリュエーターの接続・スコアリングの仕様・SDK。
• セッション: スコアが表示される実行ごとのグリッド。
• ダッシュボード: 組織全体の品質トレンドを保存・共有。
• 監査: クロスセッション調査向けの Observability のもう一つの自動品質機能。