Cloud Hadoop を開始する

印刷する
共有
PDF

Article Summary

Share feedback

Thanks for sharing your feedback!

Classic環境で利用できます。

Cloud Hadoopで提供する Cloud Hadoopのスペックを確認して全体シナリオを十分熟知したら、Cloud Hadoopの利用を始めるための準備が完了します。次は、Cloud Hadoopクラスタを作成します。Cloud Hadoopクラスタの作成と管理は、NAVERクラウドプラットフォームコンソールで行います。
スタートガイドで学習する内容をまとめると、次の通りです。

事前タスク
クラスタ作成
クラスタ削除

事前タスク

Object Storage作成
クラスタを作成する前に、データを保存して検索するための Object Storageバケットを作成する必要があります。詳細は、Object Storageガイドをご参照ください。
ノードタイプを選択
予想使用量を考慮して、ノードタイプを予め選択します。

クラスタ作成

NAVERクラウドプラットフォームの Cloud Hadoopサービスを使用するには、最初にクラスタを作成します。

Cloud Hadoopクラスタを作成する方法は、次の通りです。

NAVERクラウドプラットフォームコンソールにアクセスします。
Platform メニューの Classic をクリックして Classic環境に変更します。
Services > Big Data & Analytics > Cloud Hadoop メニューを順にクリックします。
[クラスタ作成] ボタンをクリックします。
クラスタの作成画面が表示されたら、次のステップを順に行います。

1. クラスタ設定

クラスタの設定情報を指定した後、 [次へ] ボタンをクリックします。

クラスタバージョン : 現在 Cloud Hadoop 1.0、1.1、1.2バージョンを提供します。クラスタのバージョンに関する詳細は、Cloud Hadoop のリリースノートをご参照ください。
クラスタタイプ : クラスタのタイプは現在 Core Hadoop、Presto、HBase、Sparkの4種類で、必要なコンポーネントがインストールされたタイプを選択できます。必要なサービスを追加する場合、クラスタ管理ツールの Ambariの Add Service 機能を使用できます。
クラスタ管理者アカウント : Ambari、Hue、Zeppelin管理コンソールにアクセスするためのクラスタアカウントを設定します。
クラスタ管理者アカウントのパスワード : クラスタアカウントのパスワードを入力します。
ACG設定 : Cloud Hadoop ACGはクラスタを作成するたびに自動作成されます。ネットワーク ACLを設定する場合、自動で作成された ACGを選択してルールを修正できます。ACG設定に関する詳細は、ファイアウォール設定(ACG)をご参照ください。

2. ストレージとサーバ設定

ストレージとノードサーバの設定情報を指定した後、 [次へ] ボタンをクリックします。

Object Storageバケット : Cloud Hadoopクラスタは事前タスクで作成した Object Storageバケットでデータの読み取りと書き込みができます。クラスタの作成時に、事前タスクで作成した Object Storageバケットを選択します。ロックが設定された Cloud Hadoopと連携しません。Object Storageバケットの作成時にご参照ください。
高可用性サポート : Cloud Hadoopは基本として HDFS NameNode、YARN Resource Manager、Oozie Server、HiveServerに関する冗長化を提供します。これは最小スペックであるため、選択は解除できません。
エッジノードのサーバタイプ : エッジノードとして使用するサーバタイプを選択します。クラスタを作成した後はサーバタイプを変更できません。エッジノードとして使用できるサーバの仕様は、クラスタノード別のサポートサーバの仕様をご参照ください。
エッジノード数 : エッジノード数は1個に固定されています。
マスターノードのサーバタイプ : マスターノードとして使用するサーバタイプを選択します。クラスタを作成した後はサーバタイプを変更できません。
マスターノード数 : Cloud Hadoopは最小スペックで高可用性を提供するため、マスターノード数は2個に固定されています。
マスターノードのストレージタイプ : ストレージタイプを選択します。SSDと HDDの中から選択できます。クラスタを作成した後はストレージタイプを変更できません。マスターノードとして使用できるサーバの仕様は、クラスタノード別のサポートサーバの仕様をご参照ください。
マスターノードのストレージ容量 : ストレージ容量を選択します。最低100GBから2Tまで選択でき、10GB単位で指定できます。
ワーカーノードのサーバタイプ : ワーカーノードとして使用するサーバタイプを選択します。クラスタを作成した後はサーバタイプを変更できません。ワーカーノードとして使用できるサーバの仕様は、クラスタノード別のサポートサーバの仕様をご参照ください。
ワーカーノード数 : ワーカーノード数は2~8個まで選択できます。ワーカーノードは、クラスタの作成後にも追加または削除できます。
ワーカーノードのストレージタイプ : ストレージタイプを選択します。SSDと HDDの中から選択できます。クラスタを作成した後はストレージタイプを変更できません。
ワーカーノードのストレージ容量 : ストレージ容量を選択します。最低100GBから2Tまで選択でき、10GB単位で指定できます。
料金プラン : アカウントの作成時に選択した料金プランが適用されます。料金に関する詳細は、料金のご案内をご参照ください。

参考

クラスタを作成した後は、サーバの仕様に対する調整(scale up/down)が行えません。クラスタを構成する際は、予測使用量とノードのロール(エッジ/マスター/ワーカー)を考慮して選択します。

3. 認証キー設定

ノードに直接アクセスする時に必要な SSH認証キーを設定します。
保有している認証キーを選択するか、新しい認証キーを作成し、 [次へ] ボタンをクリックします。

新しい認証キーを作成するには、 新しい認証キー作成 を選択して認証キー名を入力し、 [認証キー作成と保存] ボタンをクリックします。

参考

認証キーは、管理者パスワードを確認する時に必要です。保存した.pemファイルを PCの安全な場所に保存します。

4. 最終確認

設定内容を確認した後、 [作成] ボタンをクリックします。

参考

Cloud Hadoop ACGはクラスタを作成するたびに自動作成されます。ネットワーク ACLを設定する場合、自動で作成された ACGを選択してルールを修正できます。ACG設定に関する詳細は、ファイアウォール設定(ACG)をご参照ください。
クラスタが作成されるまでおおよそ30分~50分かかります。クラスタの作成が完了して運用が開始されると、クラスタリストの状態列に 運用中 と表示されます。

クラスタ削除

Cloud Hadoopクラスタを削除する方法は、次の通りです。

NAVERクラウドプラットフォームコンソールの Classic環境で Services > Big Data & Analytics > Cloud Hadoop メニューを順にクリックします。
クラスタリストで削除するクラスタを選択し、 [削除] ボタンをクリックします。
削除の確認ポップアップで当該クラスタ名を入力し、 [はい] ボタンをクリックします。

参考

クラスタが削除されるまで数分かかります。クラスタの削除が完了すると、クラスタリストから当該クラスタが消えます。

注意

Cloud Hadoopクラスタを削除すると、ノードのローカルファイルシステムや HDFSの中に保存されているデータもすべて削除されます。必要なファイルは Object Storageバケットにコピーしておくなどバックアップを別途行ってください。