手作業によるサンプリングをやめる
これまでは一部の実行だけをスポットチェックして、残りは問題ないと祈るしかありませんでした。今後は、完了したすべてのセッションが終了した瞬間にスコアリングされます。対象ディメンションは、有用性・ツール効率・事実性・安全性など、あなたが重視する品質基準に合わせて設定できます。スコアのキーはあなたが定義し、Failproof AI Observability は評価器が返すあらゆるデータを保存・傾向分析・表示します。採点漏れは一切なく、サポートチケットで回帰を知ることもなくなります。 スコアは/<org-slug>/sessions（サイドバー → observe → sessions）のセッショングリッドに表示され、各行にバッジのクラスターが付きます。スコアが低い実行だけを確認したい場合は、スコア範囲でグリッドをフィルタリングしてください。たとえば有用性が 0.5 未満のように絞り込めば、確認すべき実行だけを取り出せます。スコアの閲覧には evaluations:read 権限が必要です。
低スコアの原因を確認する
数値は実行の問題を示しますが、セッションページはその理由を教えてくれます。任意の実行を開くと、右パネルに概要サマリーが表示され、その下に各ディメンションのスコアバーと評価器が生成した根拠が示されます。「事実性が 0.4 だった」という状態から、どの主張が誤っていたかまで、数秒で確認できます。
evaluations:trigger で制限）を使ってその場でセッションを再採点できます。新しい結果はタイムラインに追記され、以前のスコアも履歴として残ります。このボタンは /<org-slug>/sessions/<session-id> で確認できます。
フリート全体の品質トレンドを監視する
1 件の低スコアはノイズに過ぎませんが、コホート全体の低下はシグナルです。保存済みダッシュボードを使えば、スコアをひと目で確認できるトレンドに変換できます。エージェント別・環境別に、今週と先週の平均有用性を比較するといった使い方も可能です。
/<org-slug>/dashboards（サイドバー → analyze → dashboards）にあり、組織全体で共有されます。各カードは対象セッションを集計し、セッション数・注目スコアの平均・トレンドのスパークラインを表示します。「Open in sessions」をクリックすると、任意の数値に対応する事前フィルタリング済みの実行に直接移動できます。閲覧には dashboards:read と evaluations:read の両方が必要です。
評価器を一度接続する
スコアリングはオプトイン方式で、Failproof AI Observability にスコアラーを指定するまでは完全にオフになっています。小さな HTTP サービスを一つ立ち上げ（Observability にはコピーして使える実用的なリファレンス実装が付属しています）、サーバーに 2 つの値を設定するだけで、以降のすべての実行が自動的に採点されます。詳細なウォークスルー・スコアリングの仕様・SDK は詳細ガイドに記載されています。 どのディメンションを採点すべきか迷っている場合は、evaluator agent skill を使えば、コーディングエージェントが実際のセッションをもとに最適なスコアディメンションを見つけ出し、サービスを構築・デプロイしてくれます。関連情報
- Evaluation suite: 評価器の接続、スコアリングの仕様、SDK について。
- Evaluator agent skill: コーディングエージェントにスコアのディメンション選定と評価器の構築を任せる。
- Sessions: スコアが表示される実行単位のグリッド。
- Dashboards: 組織全体の品質トレンドを保存・共有する。
- Audits: セッションをまたいだ調査に対応する、Observability のもう一つの自動品質機能。