VPC環境で利用できます。
Monitoringサービスでは2種類のダッシュボードをサポートしており、の、Cloud Hadoopのパフォーマンスと履歴に関する様々なモニタリング情報を確認できます。Monitoringは NAVERクラウドプラットフォームの Cloud Hadoopに含まれているサービスであるため、別途追加費用なしで使用できます。
Monitoringで提供するダッシュボードの種類は、次の通りです。
- HADOOP Dashboard: 運用中の Cloud Hadoop関連モニタリング情報
- OS Dashboard: 運用中の Cloud Hadoop各サーバのハードウェア、ネットワーク情報
2種類のダッシュボードを通じて、直近2か月以内の Cloud Hadoop関連情報と各サーバのハードウェア、ネットワーク指標を確認できます。各ダッシュボードはグラフや図表で構成されおり、特定のグラフチャートを出力したり、様々な拡張子のファイルで PCにダウンロードしたりすることで、業務効率を高めることができます。
参考
モニタリングの結果、特定の指標がしきい値を超えたり、特定の条件を満たす場合はイベントとして認識し、ユーザーにアラームで知らせるように設定できます。イベントおよびアラーム設定の詳細な使用方法については、Cloud Insightでの Cloud Hadoopモニタリングガイドをご参照ください。
Monitoringを開始する
- NAVERクラウドプラットフォームコンソールの VPC環境で、
> Services > Big Data & Analytics > Cloud Hadoopメニューを順にクリックします。 - [クラスタを作成] ボタンをクリックし、Cloud Hadoopクラスタを作成します。
- クラスタ作成に関する詳細は、Cloud Hadoop を開始するガイドをご参照ください。
- 左側の Cloud Hadoop > Monitoringメニューをクリックします。
- Cloud Hadoopクラスタリストからモニタリングするクラスタをクリックします。
Monitoring画面
Monitoring利用のための基本的な説明は、次の通りです。
- 左側の領域で、現在実行中の Cloud Hadoopクラスタとクラスタ別サーバを選択できます。
- クラスタ名をクリックすると右側の領域に HADOOP Dashboardが表示され、クラスタ名下部のサーバをクリックすると OS Dashboardが表示されます。
Monitoringダッシュボードの確認
Monitoringで提供しているダッシュボードは、複数のグラフチャートで構成されています。ユーザーは、クラスタ別に確認したいダッシュボードで必要な情報のみ表示させ、直観的に確認できます。ダッシュボードを使用する方法は、次の通りです。
HADOOP Dashboard
- 左側の Cloud Hadoopクラスタリストから確認したいクラスタをクリックすると、右側のように HADOOP Dashboardが表示されます。
- HADOOP Dashboardでデータは毎分収集されます。
- モニタリング情報は平均値を基準とし、選択した期間のタイプに応じて収集周期は異なります。
- 各グループ別に確認できる指標は、次の通りです。
| グループ | 指標名 | 単位 | 説明 |
|---|---|---|---|
| Apps | apps_completed | num | number of applications submitted to YARN that have completed |
| apps_failed | num | number of applications submitted to YARN that have failed to complete | |
| apps_killed | num | number of applications submitted to YARN that have been killed | |
| apps_pending | num | number of applications submitted to YARN that are in a pending state | |
| apps_running | num | number of applications submitted to YARN that are running | |
| apps_submitted | num | number of applications submitted to YARN | |
| Blocks | corrupt_blocks | num | number of blocks that HDFS reports as corrupted |
| missing_blocks | num | number of blocks in which HDFS has no replicas | |
| pending_deletion_blocks | num | number of blocks marked for deletion | |
| pending_replication_blocks | num | status of block replication: blocks being replicated, age of replication requests, and unsuccessful replication requests | |
| under_replicated_blocks | num | number of blocks that need to be replicated one or more times | |
| Containers | allocated_container | num | number of resource containers allocated by the ResourceManager |
| pending_containers | num | number of containers in the queue that have not yet been allocated | |
| reserved_containers | num | number of containers reserved | |
| HDFS capacity(GB) | capacity_remaining_gb | GB | amount of remaining HDFS disk capacity |
| HDFS read/write(bytes) | hdfs_bytes_read | bytes | number of bytes read from HDFS |
| hdfs_bytes_written | bytes | number of bytes written to HDFS | |
| HDFS utilization(%) | hdfs_utilization | % | percentage of HDFS storage currently used |
| Memory(MB) | allocated_mb | MB | amount of memory allocated to the cluster |
| available_mb | MB | amount of memory available to be allocated | |
| reserved_mb | MB | amount of memory reserved | |
| total_mb | MB | total amount of memory in the cluster | |
| Nodes | num_live_data_nodes | num | number of data nodes that are receiving work from Hadoop |
| unhealthy_nodes | num | number of nodes available to MapReduce jobs marked in an UNHEALTHY state | |
| active_nodes | num | number of nodes presently running MapReduce tasks or jobs | |
| decommissioned_nodes | num | number of nodes allocated to MapReduce applications that have been marked in a DECOMMISSIONED state | |
| lost_nodes | num | number of nodes allocated to MapReduce that have been marked in a LOST state | |
| rebooted_nodes | num | number of nodes available to MapReduce that have been rebooted and marked in a REBOOTED state | |
| total_nodes | num | number of nodes presently available to MapReduce jobs | |
| V_cores | allocated_v_cores | num | number of core nodes working |
| pending_v_cores | num | number of core nodes waiting to be assigned | |
| Data transfers | total_load | num | total number of concurrent data transfers |
| YARN memory(%) | yarn_memory_available_percentage | % | percentage of remaining memory available to YARN (= available_mb / total_mb) |
- リアルタイムでクラスタの指標変化をモニタリングできます。
- クラスタのデータノード数を減らしたときに指標が変わる様子です。
- クラスタのデータノード数を減らしたときに指標が変わる様子です。
- ユーザーは以下のようにグラフに直接マウスオーバーしてグラフをズームイン、ズームアウトできます。また、照会する期間を設定するとダッシュボードで必要な期間の指標を確認できます。
- 以下のように
をクリックするとチャートを出力でき、様々な拡張子ファイルでグラフをダウンロードできます。ご希望のフォーマットを選択してデータをダウンロードしてください。
OS Dashboard
- モニタリングページで、クラスタ名ではなくクラスタ下位のサーバを選択してください。OS Dashboardが表示されます。
- OS Dashboardでデータは毎分収集されます。
- モニタリング情報は平均値を基準とし、選択した期間のタイプに応じて収集周期は異なります。
- Cloud Hadoopクラスタを構成しているマスターノード、エッジノード、データノードを確認したり、それぞれの CPU Usage、LoadAverage、Memory、Disk I/O、Disk usage、Network I/O指標を確認できます。