Skip to main content
ダッシュボードは、保存済みクエリを組み合わせた運用ビューです。利用可能なすべてのメトリクスを詰め込むのではなく、誰かが下すと想定される意思決定を中心に構築してください。

​
ダッシュボードを作成する

  1. Analyze → Queries に移動し、保存済みクエリを作成または開いて、結果を検証します。
  2. add to dashboard を選択し、既存のダッシュボードを選ぶか、Analyze → Dashboards で新しいダッシュボードを作成します。
  3. ダッシュボードを開き、編集モードに入ってタイルを整理し、レイアウトを保存します。
  4. タイルの背後にあるデータやフィルターを変更する必要があるときは、クエリに戻って編集します。 イベント数、エラー、レイテンシ、モデルのトークン使用量に関する保存済みクエリで構成されたダッシュボード。
よく使われるダッシュボードグループの例：
  • モデル: リクエスト数、レイテンシ、トークン使用量、エラー率、評価スコア。
  • 評価: エージェントまたは環境ごとの成功率とスコアのトレンド。
  • ツール: 呼び出し数、失敗率、処理時間、リピート呼び出し。
  • フックとポリシー: 判定結果、拒否件数、ポリシーのマッチ率。
  • カスタムワークフローメトリクス: 独自のイベントフィールドと SQL による結果。
まず保存済みクエリを作成して結果を検証し、それをタイルとして追加します。本番と開発のフィルターを明示的に設定し、テストトラフィックによってリグレッションが見逃されないようにしてください。
ダッシュボードごとに担当者と対応する問いを設定しましょう。例：「checkout-agent の信頼性は先週より低下しているか？」