Login
      目次 x
      Cloud Insight によるHadoopモニタリング
        • 印刷する
        • PDF
        目次

        Cloud Insight によるHadoopモニタリング

          • 印刷する
          • PDF
          Article Summary

          VPC環境で利用できます。

          NAVERクラウドCloud Insightを通じてHadoopの性能と運用指標をモニタリングし、障害が発生した際に迅速に確認して対処することができます。

          事前作業

          1. Cloud Hadoopクラスタを作成します。
          2. Cloud Insightの利用申込を行います。

          ダッシュボードの構成

          事前作業が完了したら、Cloud HadoopをモニタリングするためにCloud Insightコンソール画面でダッシュボードを作成して、ウィジェットを追加することができます。

          Cloud HadoopをモニタリングするためにCloud Insightのダッシュボードを作成してウィジェットを追加する方法は、以下のとおりです。

          1. NAVERクラウドプラットフォームコンソールのVPC環境でServices > Management & Governance > Cloud Insight (Monitoring) メニューを順にクリックします。
          2. [ダッシュボードを作成] ボタンをクリックします。
          3. ダッシュボードの名前と説明を入力し、[作成] ボタンをクリックします。
            hadoop-vpc-use-ex12_create1_vpc_ja.png
          4. [ウィジェットを追加] ボタンをクリックします。
          5. ウィジェットの名前を入力してウィジェットの種類を選択し、[次へ] ボタンをクリックします。
            • 例では、Time Seriesウィジェットを使用して説明します。
              hadoop-vpc-use-ex12_create3_vpc_ja.png
          6. 以下のようにウィジェットの設定を入力し、[次へ] ボタンをクリックします。
            hadoop-vpc-use-ex12_create4_vpc_ja.png
            • Product Type: Cloud Hadoop(VPC)
            • Target: 保有リソース全体を選択し、モニタリングするクラスタを選択
              (グループを選択する場合、Target Groupの設定を参照)
            • Metric: すべてのメトリックを選択してモニタリングする項目を選択し、[選択項目を追加] ボタンをクリック
              (テンプレートを選択する場合、Rule Templateの設定を参照)
            • 設定データリスト: 選択したモニタリング項目のDimension(属性)、Interval(集計周期)、Aggregation(集計関数)を選択
          7. 設定したウィジェットの内容を確認し、[作成] ボタンをクリックします。
            hadoop-vpc-use-ex12_create6_vpc_ja.png
            • ダッシュボードにウィジェットが追加されます。追加されたウィジェットを通じてCloud Hadoopクラスタをモニタリングできます。
              hadoop-vpc-use-ex12_create7_vpc_ja.png

          グループとテンプレートの設定

          モニタリングの設定とウィジェットの管理を容易に行えるように、特定のモニタリング対象をグループ化したり、特定のモニタリング項目(Metric)をテンプレートとして保存することができます。

          Target Groupの設定

          Target Groupを作成して特定のモニタリング対象をグループ化する方法は、以下のとおりです。

          1. NAVERクラウドプラットフォームコンソールのVPC環境でServices > Management & Governance > Cloud Insight (Monitoring) メニューを順にクリックします。
          2. Configuration > Templateメニューを順にクリックします。
          3. [Target Group] タブをクリックし、[Target Groupを作成] ボタンをクリックします。
          4. 以下のようにグループの設定を入力し、[作成] ボタンをクリックします。
            hadoop-vpc-use-ex12_targetGroup2_vpc_ja.png
            • Product Type: Cloud Hadoop(VPC)
            • グループ名、グループの説明: グループの名前と説明を入力
            • 選択可能な監視対象: グループに含めるモニタリング対象をすべて選択し、icon_hadoop-vpc-use-ex12_addSelected_vpc.pngをクリック

          Rule Templateの設定

          Rule Templateを設定して特定のモニタリング項目をテンプレートで保存する方法は、以下のとおりです。

          1. NAVERクラウドプラットフォームコンソールのVPC環境でServices > Management & Governance > Cloud Insight (Monitoring) メニューを順にクリックします。

          2. Configuration > Templateメニューを順にクリックします。

          3. Rule Templateタブをクリックし、[Rule Templateを作成] ボタンをクリックします。

          4. 以下のようにテンプレートの設定を入力し、[次へ] ボタンをクリックします。
            hadoop-vpc-use-ex12_template2_vpc_ja.png

            • Product Type: Cloud Hadoop(VPC)
            • テンプレート名、説明：テンプレートの名前と説明を入力
            • 各分類タブで、テンプレートに含めるモニタリング項目(Metric)を探して選択

          5. 以下を参考にして各モニタリング項目のモニタリング条件を入力し、[保存] ボタンをクリックします。
            hadoop-vpc-use-ex12_template3_vpc_ja.png

            • Dimension：モニタリング項目の属性
            • Level：イベント発生時のレベル
            • Condition：イベントの発生条件
            • Method：モニタリング項目の集計関数
            • Duration：持続時間
            参考

            Cloud Hadoop(VPC)のCPU/user_rto(cpu_idx：1)の値が0のままで1分間続く場合にInfoレベルのイベントを発生させる設定の例は、以下のとおりです。
            hadoop-vpc-use12_25_ja

          イベントの設定

          モニタリングの対象と項目を選択し、モニタリングの条件と通知アクションを設定してイベントを作成できます。また、作成したイベントの状況を確認できます。

          参考

          このガイドでは、イベントの通知アクションとして通知メッセージの送信を使用する方法を説明します。Integration、Cloud Functions、Auto Scalingポリシーなど他の通知アクションについての説明は、Cloud Insightご利用ガイドを参照してください。

          イベントを設定する方法は以下のとおりです。

          1. NAVERクラウドプラットフォームコンソールのVPC環境でServices > Management & Governance > Cloud Insight (Monitoring) メニューを順にクリックします。
          2. Configuration > Event Ruleメニューを順にクリックします。
          3. [Event Rules] ボタンをクリックします。
          4. 監視商品の選択項目でCloud Hadoop(VPC)を選択し、[次へ] ボタンをクリックします。
            hadoop-vpc-use-ex12_eventRule2_vpc_ja.png
          5. 個別のモニタリング対象またはモニタリンググループを選択し、[次へ] ボタンをクリックします。
          6. 個別のモニタリング項目またはモニタリングテンプレートを選択し、[次へ] ボタンをクリックします。
          7. 通知メッセージの送信タブで通知対象者グループを選択し、[次へ] ボタンをクリックします。
          8. 設定したイベントの内容を確認し、[作成] ボタンをクリックします。
            hadoop-vpc-use-ex12_eventRule6_vpc_ja.png

          イベント状況の確認

          作成したイベントの状況を確認する方法は以下のとおりです。

          1. NAVERクラウドプラットフォームコンソールのVPC環境でServices > Management & Governance > Cloud Insight (Monitoring) メニューを順にクリックします。
          2. Eventメニューをクリックしてください。イベントルールによってイベントが発生した場合、発生したイベントの詳細を以下のように確認できます。
            hadoop-vpc-use-ex12_Event_vpc_ja.png

          通知対象者グループの作成

          イベントの通知メッセージを送信する通知対象者グループを作成して対象者を追加する方法は、以下のとおりです。

          1. NAVERクラウドプラットフォームコンソールのVPC環境でServices > Management & Governance > Cloud Insight (Monitoring) メニューを順にクリックします。
          2. Notification Recipientメニューを順にクリックします。
          3. 対象者グループリストの chadoop-vpc-use-plusicon_koボタンをクリックして作成するグループの名前を入力し、chadoop-vpc-use-checkicon_koボタンをクリックします。
            hadoop-vpc-use-ex12_noti1_vpc_ja.png
          4. 対象者グループリストの全対象者をクリックします。
            対象者グループリストのchadoop-vpc-use-plusicon_jaボタンをクリックして作成したいグループ名を入力し、chadoop-vpc-use-checkicon_jaボタンをクリックしてください。
          5. 作成したグループに割り当てる対象者を選択し、[割り当て] ボタンをクリックします。
            • 新しい対象者を追加するには、[対象者を追加] ボタンをクリックし、Cloud Insightご利用ガイドを参考にして対象者を追加してください。
              hadoop-vpc-use-ex12_noti2_vpc_ja.png
          6. 追加する通知対象者の情報を入力して本人認証を完了し、[登録] ボタンをクリックします。

          Cloud Hadoop Metric

          生成されたすべてのクラスタについて、以下の指標を監視できます。 Cloud Insight は、指標のデータを 1 分間隔で収集します。

          参考

          クラスタのHDFS、YARNが正常に動作しない場合、指標は収集されず、ダッシュボードでも確認できません。

          指標タイプ単位説明
          active_nodesINTEGERnumnumber of nodes presently running MapReduce tasks or jobs
          allocated_containerINTEGERnumnumber of resource containers allocated by the ResourceManager
          allocated_mbINTEGERMBamount of memory allocated to the cluster
          allocated_v_coresINTEGERnumnumber of core nodes working
          apps_completedINTEGERnumnumber of applications submitted to YARN that have completed
          apps_failedINTEGERnumnumber of applications submitted to YARN that have failed to complete
          apps_killedINTEGERnumnumber of applications submitted to YARN that have been killed
          apps_pendingINTEGERnumnumber of applications submitted to YARN that are in a pending state
          apps_runningINTEGERnumnumber of applications submitted to YARN that are running
          apps_submittedINTEGERnumnumber of applications submitted to YARN
          available_mbINTEGERMBamount of memory available to be allocated
          capacity_remaining_gbINTEGERGBamount of remaining HDFS disk capacity
          corrupt_blocksINTEGERnumnumber of blocks that HDFS reports as corrupted
          decommissioned_nodesINTEGERnumnumber of nodes allocated to MapReduce applications that have been marked in a DECOMMISSIONED state
          hdfs_bytes_readINTEGERBytesnumber of bytes read from HDFS
          hdfs_bytes_writtenINTEGERBytesnumber of bytes written to HDFS
          hdfs_utilizationFLOAT%percentage of HDFS storage currently used
          lost_nodesINTEGERnumnumber of nodes allocated to MapReduce that have been marked in a LOST state
          missing_blocksINTEGERnumnumber of blocks in which HDFS has no replicas
          num_live_data_nodesINTEGERnumnumber of data nodes that are receiving work from Hadoop
          pending_containersINTEGERnumnumber of containers in the queue that have not yet been allocated
          pending_deletion_blocksINTEGERnumnumber of blocks marked for deletion
          pending_replication_blocksINTEGERnumstatus of block replication: blocks being replicated, age of replication requests, and unsuccessful replication requests
          pending_v_coresINTEGERnumnumber of core nodes waiting to be assigned
          rebooted_nodesINTEGERnumnumber of nodes available to MapReduce that have been rebooted and marked in a REBOOTED state
          reserved_containersINTEGERnumnumber of containers reserved
          reserved_mbINTEGERMBamount of memory reserved
          total_loadINTEGERnumtotal number of concurrent data transfers
          total_mbINTEGERMBtotal amount of memory in the cluster
          total_nodesINTEGERnumnumber of nodes presently available to MapReduce jobs
          under_replicated_blocksINTEGERnumnumber of blocks that need to be replicated one or more times
          unhealthy_nodesINTEGERnumnumber of nodes available to MapReduce jobs marked in an UNHEALTHY state
          yarn_memory_available_percentageFLOAT%percentage of remaining memory available to YARN (= available_mb / total_mb)
          この記事は役に立ちましたか?
          What's Next
          Change password!
          Changing your password will log you out immediately. Use the new password to log back in.
          Change profile
          Success!
          First name must have atleast 2 characters. Numbers and special characters are not allowed.
          Last name must have atleast 1 characters. Numbers and special characters are not allowed.
          Enter a valid email
          Enter a valid password
          Your profile has been successfully updated.
          Logout