Skip to main content
ダッシュボードは、保存されたクエリを組み合わせて運用ビューを構成します。利用可能なすべての指標ではなく、誰かが下すと想定される意思決定を中心に構築してください。

​
ダッシュボードを作成する

  1. Analyze → Queries に移動し、保存済みクエリを作成または開いて、その結果を検証します。
  2. add to dashboard を選択し、既存のダッシュボードを選ぶか、Analyze → Dashboards で新しいダッシュボードを作成します。
  3. ダッシュボードを開き、編集モードに入ってタイルを配置し、レイアウトを保存します。
  4. タイルの背後にあるデータやフィルターを変更する必要がある場合は、クエリに戻ります。 イベントボリューム、エラー、レイテンシ、モデルトークン使用量の保存済みクエリから構成されたダッシュボード。
便利なダッシュボードグループの例：
  • Models: ボリューム、レイテンシ、トークン使用量、エラー率、評価スコア。
  • Evaluations: エージェントまたは環境別の成功率とスコアの推移。
  • Tools: 呼び出しボリューム、失敗率、処理時間、繰り返し呼び出し。
  • Hooks and policies: 判断、拒否、ポリシー一致率。
  • Custom workflow metrics: 独自のイベントフィールドと SQL による結果。
保存済みクエリから始めて結果を検証し、タイルとして追加します。テストトラフィックがリグレッションを隠してしまわないよう、本番環境と開発環境のフィルターを明示的に設定してください。
すべてのダッシュボードにオーナーと回答すべき問いを設定しましょう。例えば「checkout-agent の信頼性は先週より低下しているか？」のように。