Monitoringコンソールを使用
- 印刷する
- PDF
Monitoringコンソールを使用
- 印刷する
- PDF
Article Summary
Share feedback
Thanks for sharing your feedback!
VPC環境で利用できます。
Monitoringでは2種類のダッシュボードをサポートしており、Cloud Hadoopの性能と履歴に関する様々なモニタリング情報を確認できます。MonitoringはNAVERクラウドプラットフォームのCloud Hadoopに含まれているサービスであるため、別途追加費用なしで使用できます。
Monitoringで提供するダッシュボードの種類は以下のとおりです。
- HADOOP Dashboard: 実行中のCloud Hadoopに関するモニタリング情報
- OS Dashboard: 実行中のCloud Hadoopの各サーバのハードウェア、ネットワーク情報
2種類のダッシュボードを通じて、直近2か月以内のCloud Hadoop関連情報と各サーバのハードウェア、ネットワーク指標を確認できます。各ダッシュボードはグラフや図表で構成され、特定のグラフや図表を出力したり、様々な拡張子のファイルでPCにダウンロードして業務を効率化することができます。
参考
モニタリングの結果、特定の指標がしきい値を超えたり、特定の条件を満たす場合はイベントとして認識し、ユーザーにアラームで知らせるように設定できます。イベントとアラームの設定についての詳しい使用方法は、Cloud InsightでCloud Hadoopモニタリングをご参照ください。
Monitoringを開始する
- NAVERクラウドプラットフォームコンソールで、Services > Big Data & Analytics > Cloud Hadoopメニューを順にクリックします。
- [クラスタを作成] ボタンをクリックし、Cloud Hadoopクラスタを作成します。
- クラスタの作成に関する詳細は、Cloud Hadoopを開始するガイドをご参照ください。
- 左側のCloud Hadoop > Monitoringメニューをクリックします。
- Cloud Hadoopクラスタリストで、モニタリングするクラスタをクリックします。
Monitoring画面
Monitoring利用のための基本的な説明は以下のとおりです。
- 左側の領域で、現在実行中のCloud Hadoopクラスタとクラスタ別サーバを選択できます。
- クラスタ名をクリックすると右側の領域にHADOOP Dashboardが、クラスタ名下部のサーバをクリックするとOS Dashboardが表示されます。
Monitoringダッシュボードの確認
Monitoringで提供しているダッシュボードは、複数のグラフや図表で構成されています。ユーザーは、クラスタ別に確認したいダッシュボードで必要な情報のみ表示させ、直観的に確認できます。ダッシュボードを使用する方法は以下のとおりです。
HADOOP Dashboard
- 左側のCloud Hadoopクラスタリストで確認したいクラスタをクリックすると、右側のようにHADOOP Dashboardが表示されます。
- HADOOP Dashboardでデータは毎分収集されます。
- モニタリング情報は平均値を基準とし、選択した期間のタイプに応じて収集周期は異なります。
- 各グループ別に確認できる指標は以下のとおりです。
| グループ | 指標名 | 単位. | 説明. |
|---|---|---|---|
| Apps | apps_completed | num | number of applications submitted to YARN that have completed |
| apps_failed | num | number of applications submitted to YARN that have failed to complete | |
| apps_killed | num | number of applications submitted to YARN that have been killed | |
| apps_pending | num | number of applications submitted to YARN that are in a pending state | |
| apps_running | num | number of applications submitted to YARN that are running | |
| apps_submitted | num | number of applications submitted to YARN | |
| Blocks | corrupt_blocks | num | number of blocks that HDFS reports as corrupted |
| missing_blocks | num | number of blocks in which HDFS has no replicas | |
| pending_deletion_blocks | num | number of blocks marked for deletion | |
| pending_replication_blocks | num | status of block replication: blocks being replicated, age of replication requests, and unsuccessful replication requests | |
| under_replicated_blocks | num | number of blocks that need to be replicated one or more times | |
| Containers | allocated_container | num | number of resource containers allocated by the ResourceManager |
| pending_containers | num | number of containers in the queue that have not yet been allocated | |
| reserved_containers | num | number of containers reserved | |
| HDFS capacity(GB) | capacity_remaining_gb | GB | amount of remaining HDFS disk capacity |
| HDFS read/write(bytes) | hdfs_bytes_read | bytes | number of bytes written to HDFS |
| HDFS utilization(%) | hdfs_utilization | % | percentage of HDFS storage currently used |
| Memory(MB) | allocated_mb | MB | amount of memory allocated to the cluster |
| available_mb | MB | amount of memory available to be allocated | |
| reserved_mb | MB | amount of memory reserved | |
| total_mb | MB | total amount of memory in the cluster | |
| Nodes | num_live_data_nodes | num | number of data nodes that are receiving work from Hadoop |
| unhealthy_nodes | num | number of nodes available to MapReduce jobs marked in an UNHEALTHY state | |
| active_nodes | num | number of nodes presently running MapReduce tasks or jobs | |
| decommissioned_nodes | num | number of nodes allocated to MapReduce applications that have been marked in a DECOMMISSIONED state | |
| lost_nodes | num | number of nodes allocated to MapReduce that have been marked in a LOST state | |
| rebooted_nodes | num | number of nodes available to MapReduce that have been rebooted and marked in a REBOOTED state | |
| total_nodes | num | number of nodes presently available to MapReduce jobs | |
| V_cores | allocated_v_cores | num | number of core nodes working |
| pending_v_cores | num | number of core nodes waiting to be assigned | |
| Data transfers | total_load | num | total number of concurrent data transfers |
| YARN memory(%) | yarn_memory_available_percentage | % | percentage of remaining memory available to YARN (= available_mb / total_mb) |
- リアルタイムでクラウドの指標変化をモニタリングできます。
- クラスタのデータノード数を減らしたときに指標が変わる様子です。
- クラスタのデータノード数を減らしたときに指標が変わる様子です。
- ユーザーはグラフに直接マウスオーバーしてグラフをズームイン、ズームアウトできます。また、照会する期間を設定するとダッシュボードで必要な期間の指標を確認できます。
- 以下のように
チャートを出力し、さまざまな拡張子ファイルにグラフをダウンロードできます。希望のフォーマットを選択してデータをダウンロードしてください。
チャートを出力し、さまざまな拡張子ファイルにグラフをダウンロードできます。希望のフォーマットを選択してデータをダウンロードしてください。
OS Dashboard
- モニタリングページで、クラスタ名ではなくクラスタ下位のサーバを選択してください。OS Dashboardが表示されます。
- OS Dashboardでデータは毎分収集されます。
- モニタリング情報は平均値を基準とし、選択した期間のタイプに応じて収集周期は異なります。
- Cloud Hadoopクラスタを構成しているマスターノード、エッジノード、データノードを確認したり、それぞれのCPU Usage、LoadAverage、Memory、Disk I/O、Disk usage、Network I/O指標を確認できます。
この記事は役に立ちましたか?