FailproofAI Observabilityは、FailproofAIのエンタープライズ製品です。 実際に動作を確認したい方はデモをリクエストしてください。メールアドレス：nikita@befailproof.ai
動作を確認する
チームがまず求める2つのこと、「実行のトレース」と「障害の自動検出」を示す短い動画が2本あります。 エージェントトレーシング：ゴールからツール、最終的な回答まで、1回の実行をステップごとに追います。 Failproof Audit：FailproofAI Observabilityがセッションをまたいでログを解析し、修正すべき箇所を提示します。チームが活用する理由
- エージェントが実際に何をしたかを把握できる。 各実行が読みやすいgitスタイルの実行グラフになります。どのツールが並列で動いたか、どのサブエージェントが分岐したか、どこで止まったか、何に費やしたかが一目でわかります。
- 品質の低下を自動で検出できる。 スコアリングサービスを連携させると、完了した全実行がスコアリングされるため、有益性の低下やハルシネーションの急増を自動で検知できます。
- ルールを書いていない障害も発見できる。 定期的な監査がセッションをまたいでログを解析し、エラーのクラスター、レイテンシの外れ値、低スコア、停止した実行を検出して、証拠に基づいたランク付きの調査結果を提供します。
- 重要なときにアラートを受け取れる。 エラーレート、レイテンシ、コスト、評価スコアに対するしきい値ルールがインシデントを発生させ、確認・担当割り当て・解決ができます。
- 平易な英語で質問できる。 ダッシュボード内のAIアシスタントに「今週の本番環境での品質トレンドは？」と聞くと、自分のデータをもとに回答します。アシスタントが加える変更はすべて承認が必要です。
- データを手元に保持できる。 FailproofAI Observabilityはセルフホスト型です。イベント、プロンプト、分析データはすべて自社で管理するインフラ内に留まります。
提供される機能
FailproofAI Observabilityは、観察（observe）、分析（analyze）、**管理（admin）**という3つのコンセプトを中心に設計されており、ダッシュボードの左サイドバーにもそれが反映されています。 Observe（何が起きたかの生の事実）：- イベントストリーム：各実行のステップごとのリアルタイム記録（ツール呼び出し、モデル呼び出し、フック、エラー）。
- セッション：イベントを1実行1行にまとめたもの。スコアリング済みで、gitスタイルの実行グラフを確認できます。
- パフォーマンス指標：モデル・ツール・フックのサーフェスごとのレイテンシヒートマップとp50/p95/p99バイタル。テールスパイクが中央値から際立って見えます。
- エラートラッキング：発生したすべての問題を1つのトリアージ画面に集約し、発火中のアラートからワンクリックでアクセスできます。
- クエリとダッシュボード：イベントと評価に対して保存したSQLを実行し、組織共有のダッシュボードにグラフ化します。
- 評価：独自の評価サービスが生成する品質スコア。スコアごとの根拠も確認できます。
- 監査：セッションをまたいで障害パターンを検出する定期的な調査。
- アラートとインシデント：アラートを発生させるしきい値ルールと、トリアージのためのインシデントワークフロー。
- APIキー：コレクター・ダッシュボード・アシスタント向けのスコープ付きトークン。
- ユーザー：パスワードレスのメールベース認証とアローリスト。
- 設定：モデルのコンテキストウィンドウ上書きを含む、組織ごとの設定。
コンポーネントの関係
データはエージェントコードからダッシュボードへ一方向に流れます。エージェント（Python SDK経由）がイベントをagenteye-collectorに送信し、collectorがサーバーに転送し、サーバーがダッシュボードを提供します。スコアリングサービス（評価）とAIアシスタントサービス（ダッシュボード内チャット）という2つのオプションサービスが全体を補完します。- Python SDK：エージェントに
agenteye.event.*の呼び出しを数行追加します。イベントはローカルにバッファリングされます。 - agenteye-collector：各エージェントマシン上の軽量デーモンで、イベントをバッチ処理してサーバーに送信します。
- サーバー：イベントを受け取り、自社データベースに運用状態を保持します。
- ダッシュボード：すべてを探索する場所。
- オプションサービス：スコアリングサービス（評価）とAIアシスタントサービス（ダッシュボード内チャット）。