関連ページ：

このドキュメントには、OpenAI® のドキュメントへの参照が含まれています。Splunk AppDynamics はいかなる権利も所有しておらず、そのようなサードパーティのドキュメントの正確性または完全性について責任を負いません。


Java エージェントは、OpenAI API の使用状況と関連メトリックをモニターするのに役立ちます。これは、OpenAI バックエンドへの TheoKanning OpenAI Java フレームワークを使用して呼び出された Completion、ChatCompletion、および Moderation APIs をモニターします。

次のメトリックは、アプリケーション、階層、およびノードの各レベルで報告されます。

  • 1分あたりのコール数
  • コスト
  • 1分あたりのエラー数
  • 置換可能なトークン

次に、メトリックパスの例を示します。

  • Per model metric path - Application Infrastructure Performance|OpenAI_Tier|OpenAI|ada|Cost
  • All model cumulative metrics path - Application Infrastructure Performance|OpenAI_Tier|OpenAI|Cost - All Models
  • Net application level metrics path - Overall Application Summary|OpenAI - Cost - ada


これらのメトリックは、exit コールがビジネストランザクションの外部にある場合でも報告されます。ただし、exit コールがビジネストランザクションの外部にある場合、平均応答時間（ms）メトリックは報告されません。

OpenAI モデレーション API

バージョン 24.1.0 以降、Java エージェントでは OpenAI モデレーション API がサポートされます。モデレーション API は、クエリされたステートメントがポリシーに準拠しているかどうかをユーザーに求めます。Java エージェントでは、次のメトリックがキャプチャされます。

  • Calls to moderations API: OpenAI|moderations|Calls per minute
  • Flagged category metrics: OpenAI|moderations|Flagged Calls by category|hate
  • Flagged queries count: OpenAI|moderations|Flagged queries
  • Total queries count: OpenAI|moderations|Total queries

前提条件

Splunk AppDynamics を使用して OpenAI API exit コールをモニターするには、次の前提条件を満たしていることを確認します。

カスタム ダッシュボードの作成

  1. Custom_dashboard_script_v24.1.zip をダウンロードします。内容は以下のとおりです。

    ディレクトリ（Directory）説明
    templatesダッシュボードファイルを作成するための json テンプレートが含まれています。
    dashboardダッシュボード json ファイルがここで作成されます。サンプル json ファイルが含まれています。
    main.pyダッシュボードを作成するための Python スクリプト。
    readme.mdソリューションの説明。


  2. 次のコマンドを実行します。

    cd Custom_dashboard_script
python3 main.py
    CODE

    上記のコマンドでは、作成するダッシュボードのタイプ（アプリケーションまたは階層）を指定するように求められます。

  3. 選択したダッシュボードのタイプに基づいて、次のダッシュボードの詳細を指定するように求められます。

    変数説明デフォルト使用可能な値必須
    ダッシュボード名コントローラ UI の [Dashboard & Reports] に表示されるダッシュボード名。
    OpenAI_App_dashboard
    		app_dashboardオプション
    アプリケーション名OpenAI バックエンドコールを使用するアプリケーションの名前。noneopenai_app_1あり
    OpenAI Endpoints Host NameOpenAI エンドポイントのホスト名。
    api.openai.com
    api.openai.com
    		オプション
    OpenAI Endpoints PortOpenAI エンドポイントのポート。443443オプション
    変数説明デフォルト使用可能な値必須
    ダッシュボード名コントローラ UI の [Dashboard & Reports] に表示されるダッシュボード名。tier_dashboardtier_dashboardオプション
    アプリケーション名OpenAI バックエンドコールを使用するアプリケーションの名前。noneopenai_app_1あり
    ティア名OpenAI バックエンドコールに公開される階層の名前。noneopenai_tier_1あり
    ビジネストランザクション名ホストに報告されるビジネストランザクションの名前。これは、API 応答時間メトリックをキャプチャするためのものです。noneopenai_btあり
    OpenAI Endpoints Host NameOpenAI エンドポイントのホスト名。
    api.openai.com
    api.openai.com
    		オプション
    OpenAI Endpoints PortOpenAI エンドポイントのポート。443443オプション
    変数説明デフォルト使用可能な値必須
    ダッシュボード名コントローラ UI の [Dashboard & Reports] に表示されるダッシュボード名。
    OpenAI_Moderation_App
    		moderation_app_dashboardオプション
    アプリケーション名OpenAI バックエンドコールを使用するアプリケーションの名前。noneopenai_app_1あり
    変数説明デフォルト使用可能な値必須
    ダッシュボード名コントローラ UI の [Dashboard & Reports] に表示されるダッシュボード名。
    OpenAI_Moderation_Tier
    moderation_tier_dashboard
    		オプション
    アプリケーション名OpenAI バックエンドコールを使用するアプリケーションの名前。noneopenai_app_1あり
    ティア名OpenAI バックエンドコールに公開される階層の名前。noneopenai_tier_1あり


  4. コントローラ UI でダッシュボードをインポートします。「カスタムダッシュボードおよびテンプレートの作成と管理」を参照してください。