Agent instrumentieren - Failproof AI

Dein Agent produziert bereits alles, was es wert ist, aufgezeichnet zu werden – Modellaufrufe, Tool-Aufrufe, Node-Grenzen, menschliche Wartezeiten, Fehler. Das Framework wirft es weg. Das SDK behält es.

Eigene Agents

Ein selbst geschriebener Agent oder einer, der hier nicht aufgeführt ist.

LangChain und LangGraph

Graphen, Nodes, Tools, Retriever, Modelle.

CrewAI

Crews, Flows, rollenbasierte Agents, Tools.

LlamaIndex

Workflows, Steps, Function-Agents, Retriever.

Pydantic AI

Typisierte Agents, Fähigkeiten, Tools, Wiederholungsversuche.

Drei Zeilen, egal welches Framework

pip install 'failproofai-sdk[langgraph]'

pip install 'failproofai-sdk[crewai]'

pip install 'failproofai-sdk[llamaindex]'

pip install 'failproofai-sdk[pydantic-ai]'

pip install failproofai-sdk

import failproofai_sdk

failproofai_sdk.configure(environment="production")
failproofai_sdk.instrument()          # erkennt die importierten Frameworks automatisch

with failproofai_sdk.session():
    ...                               # dein bestehender Agent-Aufruf, unverändert

Keine Dekoratoren auf deinen Funktionen, kein Callback-Parameter in deinen Aufrufen, keine IDs quer durch deinen Code. Nur der Aufruf innerhalb der Session unterscheidet sich:

LangGraph
CrewAI
LlamaIndex
Pydantic AI
Custom agents

graph.invoke({"messages": [HumanMessage("...")]})

Crew(agents=[analyst, writer], tasks=[gather, summarise]).kickoff()

await agent.run("...")        # unter `async with failproofai_sdk.session():`

agent.run_sync("...")

with failproofai_sdk.agent("planner"):
    with failproofai_sdk.tool_call("search", input={"q": q}) as t:
        t.output = search(q)

Das Extra installiert das Framework. Jeder Adapter wird im Basis-Wheel mitgeliefert – ein Projekt, das sein Framework bereits installiert hat, benötigt daher kein Extra.

Prüfen, ob die Daten ankommen

Führe eine instrumentierte Session aus und öffne dann Observe → Sessions, um deine Umgebung auszuwählen. Der Lauf erscheint als rekonstruierter Trace. Falls nichts ankommt, überprüfe mit failproofai config --status, ob die Maschine verbunden ist. Siehe Erfassung einrichten.

Überprüfe das Spool-Verzeichnis nicht, um die Zustellung zu bestätigen. Der Failproof-Daemon sammelt und löscht jeden Batch innerhalb von Millisekunden – ein direktes Lesen des Verzeichnisses steht im Race mit dem Collector und zeigt weit weniger Events, als tatsächlich emittiert wurden.

Weiter

Jeder oben verlinkte Quickstart führt zu seiner vollständigen Anleitung – was aufgezeichnet wird, Optionen, Streaming, Span-Benennung und häufige Probleme. Diese findest du unter Trace Agents → Plug in your agent.

So funktioniert es

Das Datenmodell, die IDs, die Event-Typen und wie Events die Cloud erreichen.

Einen Trace lesen

Kausalität durch eine Session verfolgen, anstatt isolierte Logs zu durchsuchen.

Ersten Fehler finden

Die gerade erfassten Sessions auditieren.

Eigene Agents

LangChain und LangGraph

CrewAI

LlamaIndex

Pydantic AI

​Drei Zeilen, egal welches Framework

​Prüfen, ob die Daten ankommen

​Weiter

So funktioniert es

Einen Trace lesen

Ersten Fehler finden

Drei Zeilen, egal welches Framework

Prüfen, ob die Daten ankommen

Weiter