Failproof AI Observability は Failproof AI のエンタープライズ製品です。 実際の動作を見たいですか？デモをリクエストしてください: nikita@befailproof.ai までメールをお送りください。
実際の動作を見る
2本の短い動画で、チームが最初に必要とする2つの機能を紹介します。実行のトレースと、自動的な障害検出です。 エージェントトレーシング: 目標からツール、最終回答まで、1回の実行をステップごとに追跡します。 Failproof Audit: Failproof AI Observability がセッションをまたいでログを解析し、修正すべき箇所を教えてくれます。チームが使う理由
- エージェントが実際に何をしたかを把握できる。 すべての実行は読みやすいGitスタイルの実行グラフになります。どのツールが並列で動いたか、どのサブエージェントが分岐したか、どこで止まったか、何にコストがかかったかが一目でわかります。
- 品質の低下を自動で検出できる。 小規模なスコアリングサービスを接続すると、Failproof AI Observability がすべての完了済み実行をスコアリングし、有用性の低下やハルシネーションの増加を自動的に検出します。
- ルールを書いていない障害も発見できる。 定期監査がセッションをまたいでログを解析し、エラーのクラスター、レイテンシの外れ値、低スコア、スタックした実行を検出して、根拠付きのランク付きファインディングを提供します。
- 重要なときに通知を受け取れる。 エラーレート、レイテンシ、コスト、評価スコアに対してしきい値ルールを設定でき、確認・割り当て・解決ができるインシデントを発生させます。
- 自然言語で質問できる。 ダッシュボード内のAIアシスタントに「今週の本番環境の品質トレンドは?」と自分のデータに基づいて質問できます。アシスタントが行う変更はすべて承認が必要です。
- データを自社で管理できる。 Failproof AI Observability はセルフホスト型のため、イベント、プロンプト、分析データはすべて自社管理のインフラ内に留まります。
提供機能
Failproof AI Observability は3つのコンセプト（observe（観測）、analyze（分析）、admin（管理））を中心に構成されており、ダッシュボードの左サイドバーに反映されています。 Observe（実際に起きたことの記録）:- イベントストリーム: すべての実行のステップごとのリアルタイムトレイル（ツール呼び出し、モデル呼び出し、フック、エラー）。
- セッション: それらのイベントを1実行1行にまとめたもの。各実行はスコアリング可能で、Gitスタイルの実行グラフが付属。
- パフォーマンスメトリクス: モデル・ツール・フックのサーフェスごとのレイテンシヒートマップとp50/p95/p99バイタル。テールスパイクが中央値から際立って見えます。
- エラートラッキング: 発生したすべての問題を1つのトリアージ画面で確認でき、発火したアラートからワンクリックでアクセス可能。
- クエリ と ダッシュボード: イベントと評価に対して保存済みSQLを実行し、組織スコープの共有ダッシュボードにグラフ化。
- 評価: 独自の評価サービスが生成する品質スコア。スコアごとの理由付きで表示。
- 監査: セッションをまたいで障害パターンを検出する定期調査。
- アラート と インシデント: 通知を発するしきい値ルールと、トリアージのためのインシデントワークフロー。
- CLI: ターミナルやスクリプトからデプロイ全体を操作でき、コーディングエージェントに自然言語で任せることも可能。
- AIアシスタント: ダッシュボード内から自然言語でエージェントに関する質問ができます。
- REST API: ダッシュボードとCLIで行えることはすべてREST APIで実行可能です。スコープ付きのAPIキーで直接呼び出せ、イベントの取り込み、セッションと評価のクエリ、ダッシュボード・アラート・監査・ユーザー・キーの管理が可能です。Failproof AI Observability を自社ツールと連携させられます。
- APIキー: コレクター・ダッシュボード・アシスタント向けのスコープ付きトークン。
- ユーザー: パスワードレスのメールベース認証と許可リスト。
- 設定: モデルのコンテキストウィンドウオーバーライドを含む組織ごとの設定。
各要素の関係
データはエージェントコードからダッシュボードへ一方向に流れます。エージェント（Python SDK経由）がイベントをagenteye-collectorに送り、collectorがサーバーに転送し、サーバーがダッシュボードを提供します。スコアリングサービス（評価）とAIアシスタントサービス（ダッシュボード内チャット）の2つのオプションサービスがこれを補完します。- Python SDK: エージェントに数行の
agenteye.event.*呼び出しを追加するだけで、イベントはローカルにバッファリングされます。 - agenteye-collector: 各エージェントマシン上で動作する軽量デーモンで、イベントをバッチ処理してサーバーに転送します。
- サーバー: イベントを取り込み、自社データベースに運用状態を保持し、ダッシュボード・CLI・独自インテグレーションが使用するREST APIを提供します。
- ダッシュボード: すべてを探索できる場所。
- オプションサービス: スコアリングサービス（評価）とAIアシスタントサービス（ダッシュボード内チャット）。