Documentation Index

Fetch the complete documentation index at: https://guide.ncloud-docs.com/llms.txt

Use this file to discover all available pages before exploring further.

Cloud Hadoop を開始する

Prev Next

Classic環境で利用できます。

Cloud Hadoopで提供する Cloud Hadoopのスペックを確認して全体シナリオを十分熟知したら、Cloud Hadoopの利用を始めるための準備が完了します。次は、Cloud Hadoopクラスタを作成します。Cloud Hadoopクラスタの作成と管理は、NAVERクラウドプラットフォームコンソールで行います。
スタートガイドで学習する内容をまとめると、次の通りです。

事前タスク

  1. Object Storage作成
    クラスタを作成する前にデータを保存して検索するための Object Storageバケットが作成されている必要があります。詳細は、Object Storageガイドをご参照ください。

  2. ノードタイプ選択
    予想使用量を考慮して、ノードタイプを予め選択します。

クラスタ作成

NAVERクラウドプラットフォームの Cloud Hadoopサービスを使用するには、最初にクラスタを作成します。

Cloud Hadoopクラスタを作成する方法は、次の通りです。

  1. NAVERクラウドプラットフォームコンソールにアクセスします。
  2. コンソール画面右上のリージョン&プラットフォームボタンをクリックします。
  3. 利用中のリージョンと Classicプラットフォームを選択し、 [適用] ボタンをクリックします。
  4. コンソール画面左上の Menuをクリックします。
  5. Services > Big Data & Analytics > Cloud Hadoopメニューを順にクリックします。
  6. [クラスタ作成] ボタンをクリックします。
  7. クラスタの作成画面が表示されたら、次のステップを順に行います。

1.クラスタ設定

クラスタの設定情報を指定した後、 [次へ] ボタンをクリックします。

  • クラスタバージョン: 現在 Cloud Hadoop 1.0、1.1、1.2バージョンを提供します。クラスタのバージョンに関する詳細は、Cloud Hadoop のリリースノートをご参照ください。
  • クラスタタイプ: クラスタのタイプは現在 Core Hadoop、Presto、HBase、Sparkの4種類で、必要なコンポーネントがインストールされたタイプを選択できます。必要なサービスを追加する場合、クラスタ管理ツールの AmbariAdd Service機能を使用できます。
  • クラスタ管理者アカウント: Ambari、Hue、Zeppelin管理コンソールにアクセスするためのクラスタアカウントを設定します。
  • クラスタ管理者アカウントのパスワード: クラスタアカウントのパスワードを入力します。
  • ACG設定: Cloud Hadoop ACGはクラスタを作成するたびに自動作成されます。ネットワーク ACLを設定する場合、自動で作成された ACGを選択してルールを変更できます。ACG設定に関する詳細は、ファイアウォール設定(ACG)をご参照ください。

2.ストレージ&サーバ設定

ストレージとノードサーバの設定情報を指定した後、 [次へ] ボタンをクリックします。

  • Object Storageバケット: Cloud Hadoopクラスタは、事前タスクで作成した Object Storageバケットでデータの読み取りと書き込みができます。クラスタの作成時に、事前タスクで作成した Object Storageバケットを選択します。ロックが設定されたバケットは Cloud Hadoopと連携しません。Object Storageバケットの作成時にご参照ください。
  • 高可用性サポート: Cloud Hadoopは基本的に HDFS Namenode、YARN Resource Manager、Oozie Server、HiveServerの冗長化機能を提供します。これは最小スペックであるため、選択は解除できません。
  • エッジノードサーバタイプ: エッジノードとして使用するサーバタイプを選択します。クラスタを作成した後はサーバタイプを変更できません。エッジノードとして使用できるサーバの仕様は、クラスタノード別のサポートサーバの仕様をご参照ください。
  • エッジノード数: エッジノード数は1つに固定されています。
  • マスターノードサーバタイプ: マスターノードとして使用するサーバタイプを選択します。クラスタを作成した後はサーバタイプを変更できません。
  • マスターノード数: Cloud Hadoopは最小仕様で高可用性を提供するため、マスターノード数は2個に固定されています。
  • マスターノードのストレージタイプ: ストレージタイプを選択します。SSDと HDDの中から選択できます。クラスタを作成した後はストレージタイプを変更できません。マスターノードとして使用できるサーバの仕様は、クラスタノード別のサポートサーバの仕様をご参照ください。
  • マスターノードのストレージ容量: ストレージ容量を選択します。最低100GBから2Tまで選択でき、10GB単位で指定できます。
  • ワーカーノードサーバタイプ: ワーカーノードとして使用するサーバタイプを選択します。クラスタを作成した後はサーバタイプを変更できません。ワーカーノードとして使用できるサーバの仕様は、クラスタノード別のサポートサーバの仕様をご参照ください。
  • ワーカーノード数: ワーカーノード数は2~8個まで選択できます。ワーカーノードは、クラスタの作成後にも追加または削除できます。
  • ワーカーノードのストレージタイプ: ストレージタイプを選択します。SSDと HDDの中から選択できます。クラスタを作成した後はストレージタイプを変更できません。
  • ワーカーノードのストレージ容量: ストレージ容量を選択します。最低100GBから2Tまで選択でき、10GB単位で指定できます。
  • 料金プラン: アカウントの作成時に選択した料金プランが適用されます。料金に関する詳細は、料金のご案内をご参照ください。
参考

クラスタを作成した後は、サーバの仕様に対する調整(scale up/down)が行えません。クラスタを構成する際は、予測使用量とノードのロール(エッジ/マスター/ワーカー)を考慮して選択します。

3.認証キー設定

ノードに直接アクセスする時に必要な SSH認証キーを設定します。
保有している認証キーを選択するか、新しい認証キーを作成した後、 [次へ] ボタンをクリックします。

  • 新しい認証キーを作成するには、新しい認証キー作成を選択して認証キー名を入力した後、 [認証キー作成と保存] ボタンをクリックします。
参考

認証キーは、管理者パスワードを確認する時に必要です。保存した.pemファイルを PCの安全な場所に保管してください。

4.最終確認

設定内容を確認した後、 [作成] ボタンをクリックします。

参考
  • Cloud Hadoop ACGはクラスタを作成するたびに自動作成されます。ネットワーク ACLを設定する場合、自動で作成された ACGを選択してルールを変更できます。ACG設定に関する詳細は、ファイアウォール設定(ACG)をご参照ください。
  • クラスタが作成されるまで約30分~50分かかります。クラスタの作成が完了して運用が開始されると、クラスタリストのステータス列に運用中と表示されます。

クラスタ削除

Cloud Hadoopクラスタを削除する方法は、次の通りです。

  1. NAVERクラウドプラットフォームコンソールの Classic環境で、Menu > All Services > Big Data & Analytics > Cloud Hadoopメニューを順にクリックします。
  2. クラスタリストで削除するクラスタを選択し、 [削除] ボタンをクリックします。
  3. 削除の確認ポップアップで当該クラスタ名を入力し、 [はい] ボタンをクリックします。
参考

クラスタが削除されるまで数分かかります。クラスタの削除が完了すると、クラスタリストから当該クラスタが消えます。

注意

Cloud Hadoopクラスタを削除すると、ノードのローカルファイルシステムや HDFSの中に保存されているデータもすべて削除されます。必要なファイルは Object Storageバケットにコピーしておくなどバックアップを別途行ってください。

Object Storageファイルまたはバケット削除

Object Storageコンソールで削除するファイルを選択した後、 [編集] > 削除するをクリックします。
Object Storageファイルまたはバケット削除に関する詳細は、Object Storageご利用ガイドをご参照ください。

注意

削除が完了した Object Storageファイルまたはバケットは復旧できません。慎重に行ってください。