Skip to main content
セッション・イベント・評価データをスクリプトやコーディングエージェントから直接取得(および再評価のトリガー)できます。stdout にクリーンな JSON を出力するため、そのまま jq にパイプ可能です。これらのレシピは、Failproof AI Observability のデータを、ダッシュボードをクリックせずにターミナルユーザーや AI コーディングエージェント(Claude Code、Cursor)がクエリ・自動化できる形に変換します。 以下のパターンは、Failproof AI Observability CLI(agenteye)ですぐにコピペして使えます。インストール・認証・全オプションの一覧は CLI を参照してください。組み込みヘルプは agenteye -h または agenteye <command> -h で確認できます。

基本ルール

  1. グローバルオプションはコマンドのに置く。 agenteye --json sessions が正しい。agenteye sessions --json は誤り。グローバルオプションは --json--base-url--org--token--insecure/--secure--timeout--quiet--no-color です。
  2. 出力をパースする際は必ず --json を渡す。 データは JSON として stdout に出力され、人間向けのステータスメッセージやエラーは stderr に出力されるため、stdout をクリーンな状態で jq にパイプできます。
  3. 終了コードで分岐する(stderr のテキストではなく): 0 正常 · 1 予期しないエラー · 2 引数不正 · 3 ダッシュボードに接続できない · 4 未ログインまたはセッション期限切れ · 5 権限不足 · 6 リソースが見つからない。
  4. -h で探索する。 各コマンドにはフィルター・値のフォーマット・JSON の形状がドキュメント化されています。

初回セットアップ

作業前に認証を確認する

whoami はセッションが存在しないか期限切れの場合でもエラーにならず、代わりに logged_in:false を返します。そのためエージェントが認証状態を安全に確認できます(ベース URL が未設定またはダッシュボードに接続できない場合は非ゼロで終了することがあります)。

失敗または低スコアのセッションを探す

スコアのフィルタリングは sessions ではなく evals に対して行います。--score KEY:MIN..MAX は繰り返し指定可能で AND 結合されます。どちらの境界も省略可能です(..0.5 は ≤ 0.5、0.9.. は ≥ 0.9)。1 リクエストあたり最大 20 個のスコアフィルターを指定でき、それ以上は HTTP 400 を返します。sessionsevals--env--status--agent-id--session-id、時間範囲フィルターを共有しますが、--score は使えません。

セッションを最初から最後まで読む

session show のような単一コマンドはありません。イベントの記録とセッションの評価を組み合わせて使います。
注意: デフォルトでは、events はペイロードなしの高速フィードを読み取ります。各イベントはサーバーが計算した 1 行の summaryis_error やトークン数などのフラグを持ちますが、payload{} として返されます。生のペイロードを取得するには --full(または --fields payload)を追加してください。フルフィードは大規模になると遅くなるため、--full と単一の --session-id を組み合わせて範囲を限定してください。

すべてを取得する(ページネーション)

結果は最新順でカーソルページネーションが使われます。

—fields で出力を絞り込む

テーブルと --json の両方でキーを制限し、エージェントが読む量を減らします。
不明なフィールド名は有効なリストとともに(終了コード 2 で)拒否されるため、フィールド名の探索にも使えます。

有効なフィルター値を確認する

組織を選択する(マルチテナント)

複数の組織に所属している場合は、ログイン時にアクティブなテナントを選択します(保存されます)。
--org なしでマルチ組織ログインを行うと非ゼロで終了し、選択肢の組織リストが表示されます。

SDK/コレクター用の API キーを作成する

保存済みまたはアドホッククエリを実行する

インシデントを非インタラクティブにトリアージする

注意: ミューテーション操作は --json が指定されているか stdin が TTY でない場合、確認プロンプトを自動的にスキップするため、エージェントがハングすることはありません。それ以外の場所で明示的にスキップするには --yes/-y を渡してください。

スクリプトでの終了コード処理

JSON 出力の形状

  • event アイテム(events)の各フィールド: id, session_id, agent_id, event_type, ts, payload, environment, summary, is_error, error_type, output_tokens, context_window, context_fillpayload--full(または --fields payload)を指定しない限り {} です。
  • evaluation アイテム(evals)の各フィールド: id, session_id, agent_id, environment, status, scores, reasoning, summary, error, attempt_count, duration_ms, completed_at, created_at
  • session アイテム(sessions)の各フィールド: session_id, agent_id, environment, status, scores, event_count, started_at, last_event_at, first_event_id, last_event_id, latest_evaluation
各コマンドの --fields は、そのアイテムのフィールド名のみを受け付けます。sessionsevals ではフィールドセットが異なるため、一方で有効な名前が他方では拒否されることがあります。

次のステップ

  • CLI: インストール・認証・全コマンドのオプションリファレンス。
  • CLI エージェントスキル: これらのレシピをコーディングエージェントが読み込めるスキルとしてパッケージ化する方法。
  • API キー: CLI・SDK・コレクターが認証に使うキーの作成とスコープ設定。
  • Python SDK: Failproof AI Observability にイベントを送信して、これらのレシピがクエリできるデータを用意する方法。