Skip to main content
ホスト型または独自のワーカーからの評価結果は、すべて同じ場所に集まります。

​
スコアを時系列で比較する

Observe → evaluations に移動します。
  • Recent runs には、各評価が届いた順に一覧表示されます。ホスト型（managed）か独自（customer）の評価器からのものか、エージェントとセッション、評価とそのバージョン、ステータス、スコアまたはメトリクスが確認できます。
  • Score over time は、指定した内容をグラフにプロットします。add series を選択し、エージェント、環境、評価、統計値（avg、min、max、p50、p75、p90、p95、p99、stddev、mode）を選択します。各シリーズは1本の線になり、独自の curve を割り当てると別のチャートに描画されます。 評価ページ: customer タグが付いた recent runs、0.5 と 0.8 に参照線があるスコア時系列チャート、すべてのエージェントと環境にわたって finished_clean を平均化した1つのシリーズ。
すべてのシリーズに共通の時間範囲とビンサイズが適用されます。細かいビンはインシデントを見つけるのに適しており、粗いビンはトレンドを示しますが、探しているスパイクを隠してしまうことがあります。何もスコアが付かなかったバケットは、ゼロではなくラインのギャップとして表示され、参照線は 0.5 と 0.8 の位置にあります。ビューのすべての状態は URL に含まれています。share でコピーでき、開いた人は構築した比較をそのまま確認できます。
同じ評価に対して avg と p90 をプロットすることで、良好な平均値が悪いテールを隠していないか確認できます。また、2つのエージェントや本番・ステージング環境に対して同じ評価をプロットし、1つの軸で比較することもできます。単位を持つコスト、レイテンシ、トークン数は Observe → metrics でチャート表示され、単位ごとに1つのチャートになります。

​
セッションのスコアが低い理由を確認する

Observe → sessions からセッションを開きます。グリッドには各セッションのスコアが表示され、スコア範囲でフィルタリングできます。セッションの右サイドレールには評価サマリーが表示され、その下に各スコアのバーと評価器の根拠が表示されます。 完全なトレースの横に評価スコアと根拠が表示されたセッション詳細ビュー。

​
アシスタントに質問する

評価データについて自然な言葉で質問できます。「最近の評価について教えて」や、どのエージェントのスコアが下がっているかなどを尋ねることができます。アシスタントは結果を読み取って分析し、フォローアップできる表形式で回答します。有益な質問はクエリやダッシュボードとして保存することもできます。 アシスタントと並んだ評価ページ。アシスタントが「最近の評価について教えて」という質問に、合計数、ステータス、スコアのサマリーで回答している。

​
監視とアクション

  • Analyze → dashboards の Dashboards では、組織全体でエージェントおよび環境ごとに注目しているスコアのトレンドを確認できます。 平均評価スコアと時系列のトレンドを示す品質ダッシュボード。
  • Alerts は、スコアがしきい値を超えたときに通知します。アラートを参照してください。
  • 多くのセッションでスコアが低下している場合は、監査を実行して原因を調査します。原因が繰り返し可能なアクションであれば、ポリシーを記述します。