関連ページ：

AppDynamics Python エージェントは、OpenAI API の使用状況と関連メトリックをモニターするのに役立ちます。これは、OpenAI バックエンドへの openai-python ライブラリを使用して作成された ChatCompletion, Completion, および Moderation APIs タイプの要求をモニターします。

次のメトリックは、アプリケーション、階層、およびノードの各レベルで報告されます。

  • 1分あたりのコール数
  • コスト
  • 1分あたりのエラー数
  • 置換可能なトークン

次に、メトリックパスの例を示します。

  • Per model metric path - Application Infrastructure Performance|OpenAI_Tier|OpenAI|ada|Cost
  • All model cumulative metrics path - Application Infrastructure Performance|OpenAI_Tier|OpenAI|Cost - All Models
  • Net application level metrics path - Overall Application Summary|OpenAI - Cost - ada


これらのメトリックは、exit コールがビジネストランザクションの外部にある場合でも報告されます。ただし、exit コールがビジネストランザクションの外部にある場合、平均応答時間（ms）メトリックは報告されません。

OpenAI モデレーション API

バージョン 24.2.0 以降、Python エージェントでは OpenAI モデレーション API がサポートされます。モデレーション API は、クエリされたステートメントがポリシーに準拠しているかどうかをユーザーに求めます。Python エージェントでは、次のメトリックがキャプチャされます。

  • Calls to moderations API: 1 分ごとにモデレーション API が使用された回数。(OpenAI|moderations|Calls per minute)
  • Flagged category metrics: ヘイトスピーチなど、特定のタイプのコンテンツにフラグが付けられた回数。(OpenAI|moderations|Flagged Calls by category|hate)
  • Flagged queries count: フラグが設定されたコンテンツの合計数。(OpenAI|moderations|Flagged queries)
  • Total queries count: 処理されたクエリの総数。(OpenAI|moderations|Total queries)

前提条件

AppDynamics を使用して OpenAI API exit コールをモニターするには、次の前提条件を満たしていることを確認します。

カスタム ダッシュボードの作成

  1. Custom_dashboard_script_v24.1.zip をダウンロードします。内容は以下のとおりです。

    ディレクトリ（Directory）説明
    templatesダッシュボードファイルを作成するための json テンプレートが含まれています。
    dashboardダッシュボード json ファイルがここで作成されます。サンプル json ファイルが含まれています。
    main.pyダッシュボードを作成するための Python スクリプト。
    readme.mdソリューションの説明。


  2. 次のコマンドを実行します。

    cd Custom_dashboard_script
python3 main.py
    CODE

    上記のコマンドでは、作成するダッシュボードのタイプ（アプリケーションまたは階層）を指定するように求められます。

  3. 選択したダッシュボードのタイプに基づいて、次のダッシュボードの詳細を指定するように求められます。

    変数説明デフォルト使用可能な値必須
    ダッシュボード名コントローラ UI の [Dashboard & Reports] に表示されるダッシュボード名。
    OpenAI_App_dashboard
    		app_dashboardオプション
    アプリケーション名OpenAI バックエンドコールを使用するアプリケーションの名前。noneopenai_app_1あり
    OpenAI Endpoints Host NameOpenAI エンドポイントのホスト名。
    api.openai.com
    api.openai.com
    		オプション
    OpenAI Endpoints PortOpenAI エンドポイントのポート。443443オプション
    変数説明デフォルト使用可能な値必須
    ダッシュボード名コントローラ UI の [Dashboard & Reports] に表示されるダッシュボード名。tier_dashboardtier_dashboardオプション
    アプリケーション名OpenAI バックエンドコールを使用するアプリケーションの名前。noneopenai_app_1あり
    ティア名OpenAI バックエンドコールに公開される階層の名前。noneopenai_tier_1あり
    ビジネストランザクション名ホストに報告されるビジネストランザクションの名前。これは、API 応答時間メトリックをキャプチャするためのものです。noneopenai_btあり
    OpenAI Endpoints Host NameOpenAI エンドポイントのホスト名。
    api.openai.com
    api.openai.com
    		オプション
    OpenAI Endpoints PortOpenAI エンドポイントのポート。443443オプション
    変数説明デフォルト使用可能な値必須
    ダッシュボード名コントローラ UI の [Dashboard & Reports] に表示されるダッシュボード名。
    OpenAI_Moderation_App
    		moderation_app_dashboardオプション
    アプリケーション名OpenAI バックエンドコールを使用するアプリケーションの名前。noneopenai_app_1あり
    変数説明デフォルト使用可能な値必須
    ダッシュボード名コントローラ UI の [Dashboard & Reports] に表示されるダッシュボード名。
    OpenAI_Moderation_Tier
    moderation_tier_dashboard
    		オプション
    アプリケーション名OpenAI バックエンドコールを使用するアプリケーションの名前。noneopenai_app_1あり
    ティア名OpenAI バックエンドコールに公開される階層の名前。noneopenai_tier_1あり


  4. コントローラ UI でダッシュボードをインポートします。「カスタムダッシュボードおよびテンプレートの作成と管理」を参照してください。