Download PDF
Download page AWS Glue.
AWS Glue
AWS Glue は、分析ユーザーが複数のソースからのデータを簡単に検出、準備、移動、および統合できるようにするサーバーレスデータ統合サービスです。
Cisco Cloud Observability は、AWS Glue ジョブのモニタリングをサポートします。このジョブには、ソースデータに接続して処理し、データターゲットに書き込むスクリプトがカプセル化されています。ジョブの実行をモニターして、完了ステータス、期間、開始時間などのランタイムメトリックを把握できます。
このエンティティをモニターするには、クラウド接続を設定する必要があります。「Set up Cisco AppDynamics Cloud Collectors to Monitor AWS」を参照してください。
Cisco Cloud Observability は、[Observe] ページに AWS エンティティを表示します。特定のエンティティインスタンスのメトリックは、リストビューと詳細ビューに表示されます。
Error rendering macro 'excerpt-include'
User 'null' does not have permission to view the page.
詳細ビュー
AWS Glue インスタンスの詳細ビューを表示するには、次の手順を実行します。
- [Observe] ページに移動します。
- [Analytics] の下で、[AWS Glue Jobs] をクリックします。
リストビューが表示されます。 - リストからインスタンスの [Name ] をクリックして、詳細ビューを表示します。
詳細ビューには、選択したインスタンスに関連するメトリック、重要業績評価指標、およびプロパティ（属性）が表示されます。
メトリック と重要業績評価指標
Cisco Cloud Observability では、AWS Glue インスタンスに、次のメトリックと重要業績評価指標（KPI）が表示されます。詳細については、「Monitoring AWS Glue using Amazon CloudWatch metrics」を参照してください。
| [表示名（Display Name）] | ソースメトリック名 | Description |
|---|---|---|
| Read Bytes | glue.driver.aggregate.bytesRead | すべてのエグゼキュタで実行され完了したすべての Spark タスクによるすべてのデータソースから読み取られたバイト数。 |
| Elapsed Time（ミリ秒） | glue.driver.aggregate.elapsedTime | ミリ秒単位の ETL 経過時間（ジョブのブートストラップ時間は含まれません）。 |
| Completed Stages（数） | glue.driver.aggregate.numCompletedStages | ジョブで完了したステージの数。 |
| Task Count | glue.driver.aggregate.numCompletedTasks | ジョブで完了したタスクの数。 |
glue.driver.aggregate.numFailedTasks | 失敗したタスクの数。 | |
glue.driver.aggregate.numKilledTasks | 強制終了したタスクの数。 | |
| Record Count | glue.driver.streaming.numRecords | マイクロバッチで受信されたレコードの数。このメトリックは、AWS Glue バージョン 2.0 以上の AWS Glue ストリーミングジョブにのみ使用できます。 |
glue.driver.aggregate.recordsRead | すべてのエグゼキュタで実行され完了したすべての Spark タスクによるすべてのデータソースから読み取られたレコードの数。 | |
| Shuffle Throughput （バイト） | glue.driver.aggregate.shuffleLocalBytesRead | 前のレポート以降にデータをシャッフルするためにすべてのエグゼキュタにより読み取られたバイト数（直前の 1 分間にこの目的のために読み取られたバイト数として AWS Glue メトリックダッシュボードにより集計）。 |
glue.driver.aggregate.shuffleBytesWritten | 前のレポート以降にデータをシャッフルするためにすべてのエグゼキュタにより書き込まれたバイト数（直前の 1 分間にこの目的のために書き込まれたバイト数として AWS Glue メトリックダッシュボードにより集計）。 | |
| Disk Usage（MB） | glue.driver.BlockManager.disk.diskSpaceUsed_MB | すべてのエグゼキュタで使用されたディスク領域のメガバイト数。 |
| Executors Count | glue.driver.ExecutorAllocationManager.executors.numberAllExecutors | アクティブに実行されているジョブエグゼキュタ数。 |
glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors | 現在の負荷を満たすために必要な（アクティブに実行中および保留中の）ジョブエグゼキュタの最大数。 | |
| Heap Usage Percentage | glue.driver.jvm.heap.usage | ドライバ、executorId により識別されるエグゼキュタ、またはすべてのエグゼキュタに対する、このドライバ（スケール：0 ～ 1）の JVM ヒープにより使用されるメモリの割合。 |
| Heap Bytes Used | glue.driver.jvm.heap.used | ドライバ、executorId により識別されるエグゼキュタ、またはすべてのエグゼキュタのために JVM ヒープにより使用されるメモリバイト数。 |
| S3 Throughput | glue.driver.s3.filesystem.read_bytes | 前のレポート以降に、ドライバ、executorId により識別されるエグゼキュタ、またはすべてのエグゼキュタが Amazon S3 から読み取ったバイト数（直前 1 分間に読み取ったバイト数として AWS Glue メトリックダッシュボードにより集計）。 |
glue.driver.s3.filesystem.write_bytes | 前のレポート以降に、ドライバ、executorId により識別されるエグゼキュタ、またはすべてのエグゼキュタが Amazon S3 から書き込んだバイト数（直前 1 分間に書き込んだバイト数として AWS Glue メトリックダッシュボードにより集計）。 | |
| Batch Process Time | glue.driver.streaming.batchProcessingTimeInMs | バッチの処理にかかる時間（ミリ秒単位）。このメトリックは、AWS Glue バージョン 2.0 以上の AWS Glue ストリーミングジョブにのみ使用できます。 |
| CPU Usage Percentage | glue.driver.system.cpuSystemLoad | ドライバ、executorId により識別されるエグゼキュタ、またはすべてのエグゼキュタにより使用される CPU システム負荷の割合（スケール：0 ～ 1）。 |
| Number Of Runs | - | この Glue ジョブで実行中、キャンセル、成功、および失敗した実行の数。 |
プロパティ（属性）
インスタンスの [Name] をクリックすると、右側に [Properties] パネルがある詳細ビューが表示されます。 Cisco Cloud Observability は、AWS Glue ジョブの次のプロパティを表示します。
| [表示名（Display Name）] | プロパティ名 | 説明 |
|---|---|---|
| Glue Job Name | cloud.etl.name | クラウド ETL の名前。 |
| ARN | aws.glue_job.source | Glue ジョブで設定されたデータソースの ARN。 |
| Created At | cloud.etl.created_at | データサービスジョブが作成された日時。 |
| Last Modified At | aws.glue_job.last_modified | Glue ジョブが最後に更新された時間。 |
| Data Target | aws.glue_job.target | Glue ジョブで設定されたデータターゲットの ARN。 |
| Data Transform | aws.glue_job.transform | Glue ジョブで設定されたデータ変換の名前。 |
| Max Retries | aws.glue_job.max_retries | JobRun が失敗した後にこのジョブを再試行する最大回数。 |
| Max Capacity | aws.glue_job.max_capacity | このジョブの実行時に割り当てることができるデータ処理単位（DPU）の数。 |
| Type of Worker | aws.glue_job.worker.type | ジョブの実行時に割り当てられる事前定義されたワーカーのタイプ。 |
| Number of Workers | aws.glue_job.worker.count | ジョブの実行時に割り当てられる定義された workerType のワーカーの数。 |
| Version of Apache Spark | aws.glue_job.version | ジョブで使用可能な Apache Spark と Python のバージョン。 |
This page has not yet been translated to Japanese.
これらのマニュアルで使用されている Amazon Web サービス、AWS ロゴ、AWS、およびその他の AWS マークは、米国およびその他の国における Amazon.com, Inc. またはその関連会社の商標です。