Classic環境で利用できます。
Cloud Hadoopで提供する Cloud Hadoopのスペックを確認して全体シナリオを十分熟知したら、Cloud Hadoopの利用を始めるための準備が完了します。次は、Cloud Hadoopクラスタを作成します。Cloud Hadoopクラスタの作成と管理は、NAVERクラウドプラットフォームコンソールで行います。
スタートガイドで学習する内容をまとめると、次の通りです。
事前タスク
-
Object Storage作成
クラスタを作成する前にデータを保存して検索するための Object Storageバケットが作成されている必要があります。詳細は、Object Storageガイドをご参照ください。 -
ノードタイプ選択
予想使用量を考慮して、ノードタイプを予め選択します。
クラスタ作成
NAVERクラウドプラットフォームの Cloud Hadoopサービスを使用するには、最初にクラスタを作成します。
Cloud Hadoopクラスタを作成する方法は、次の通りです。
- NAVERクラウドプラットフォームコンソールにアクセスします。
- コンソール画面右上のリージョン&プラットフォームボタンをクリックします。
- 利用中のリージョンと Classicプラットフォームを選択し、 [適用] ボタンをクリックします。
- コンソール画面左上の Menuをクリックします。
- Services > Big Data & Analytics > Cloud Hadoopメニューを順にクリックします。
- [クラスタ作成] ボタンをクリックします。
- クラスタの作成画面が表示されたら、次のステップを順に行います。
1.クラスタ設定
クラスタの設定情報を指定した後、 [次へ] ボタンをクリックします。
- クラスタバージョン: 現在 Cloud Hadoop 1.0、1.1、1.2バージョンを提供します。クラスタのバージョンに関する詳細は、Cloud Hadoop のリリースノートをご参照ください。
- クラスタタイプ: クラスタのタイプは現在 Core Hadoop、Presto、HBase、Sparkの4種類で、必要なコンポーネントがインストールされたタイプを選択できます。必要なサービスを追加する場合、クラスタ管理ツールの Ambariの Add Service機能を使用できます。
- クラスタ管理者アカウント: Ambari、Hue、Zeppelin管理コンソールにアクセスするためのクラスタアカウントを設定します。
- クラスタ管理者アカウントのパスワード: クラスタアカウントのパスワードを入力します。
- ACG設定: Cloud Hadoop ACGはクラスタを作成するたびに自動作成されます。ネットワーク ACLを設定する場合、自動で作成された ACGを選択してルールを変更できます。ACG設定に関する詳細は、ファイアウォール設定(ACG)をご参照ください。
2.ストレージ&サーバ設定
ストレージとノードサーバの設定情報を指定した後、 [次へ] ボタンをクリックします。
- Object Storageバケット: Cloud Hadoopクラスタは、事前タスクで作成した Object Storageバケットでデータの読み取りと書き込みができます。クラスタの作成時に、事前タスクで作成した Object Storageバケットを選択します。ロックが設定されたバケットは Cloud Hadoopと連携しません。Object Storageバケットの作成時にご参照ください。
- 高可用性サポート: Cloud Hadoopは基本的に HDFS Namenode、YARN Resource Manager、Oozie Server、HiveServerの冗長化機能を提供します。これは最小スペックであるため、選択は解除できません。
- エッジノードサーバタイプ: エッジノードとして使用するサーバタイプを選択します。クラスタを作成した後はサーバタイプを変更できません。エッジノードとして使用できるサーバの仕様は、クラスタノード別のサポートサーバの仕様をご参照ください。
- エッジノード数: エッジノード数は1つに固定されています。
- マスターノードサーバタイプ: マスターノードとして使用するサーバタイプを選択します。クラスタを作成した後はサーバタイプを変更できません。
- マスターノード数: Cloud Hadoopは最小仕様で高可用性を提供するため、マスターノード数は2個に固定されています。
- マスターノードのストレージタイプ: ストレージタイプを選択します。SSDと HDDの中から選択できます。クラスタを作成した後はストレージタイプを変更できません。マスターノードとして使用できるサーバの仕様は、クラスタノード別のサポートサーバの仕様をご参照ください。
- マスターノードのストレージ容量: ストレージ容量を選択します。最低100GBから2Tまで選択でき、10GB単位で指定できます。
- ワーカーノードサーバタイプ: ワーカーノードとして使用するサーバタイプを選択します。クラスタを作成した後はサーバタイプを変更できません。ワーカーノードとして使用できるサーバの仕様は、クラスタノード別のサポートサーバの仕様をご参照ください。
- ワーカーノード数: ワーカーノード数は2~8個まで選択できます。ワーカーノードは、クラスタの作成後にも追加または削除できます。
- ワーカーノードのストレージタイプ: ストレージタイプを選択します。SSDと HDDの中から選択できます。クラスタを作成した後はストレージタイプを変更できません。
- ワーカーノードのストレージ容量: ストレージ容量を選択します。最低100GBから2Tまで選択でき、10GB単位で指定できます。
- 料金プラン: アカウントの作成時に選択した料金プランが適用されます。料金に関する詳細は、料金のご案内をご参照ください。
クラスタを作成した後は、サーバの仕様に対する調整(scale up/down)が行えません。クラスタを構成する際は、予測使用量とノードのロール(エッジ/マスター/ワーカー)を考慮して選択します。
3.認証キー設定
ノードに直接アクセスする時に必要な SSH認証キーを設定します。
保有している認証キーを選択するか、新しい認証キーを作成した後、 [次へ] ボタンをクリックします。
- 新しい認証キーを作成するには、新しい認証キー作成を選択して認証キー名を入力した後、 [認証キー作成と保存] ボタンをクリックします。
認証キーは、管理者パスワードを確認する時に必要です。保存した.pemファイルを PCの安全な場所に保管してください。
4.最終確認
設定内容を確認した後、 [作成] ボタンをクリックします。
- Cloud Hadoop ACGはクラスタを作成するたびに自動作成されます。ネットワーク ACLを設定する場合、自動で作成された ACGを選択してルールを変更できます。ACG設定に関する詳細は、ファイアウォール設定(ACG)をご参照ください。
- クラスタが作成されるまで約30分~50分かかります。クラスタの作成が完了して運用が開始されると、クラスタリストのステータス列に運用中と表示されます。
クラスタ削除
Cloud Hadoopクラスタを削除する方法は、次の通りです。
- NAVERクラウドプラットフォームコンソールの Classic環境で、Menu > All Services > Big Data & Analytics > Cloud Hadoopメニューを順にクリックします。
- クラスタリストで削除するクラスタを選択し、 [削除] ボタンをクリックします。
- 削除の確認ポップアップで当該クラスタ名を入力し、 [はい] ボタンをクリックします。
クラスタが削除されるまで数分かかります。クラスタの削除が完了すると、クラスタリストから当該クラスタが消えます。
Cloud Hadoopクラスタを削除すると、ノードのローカルファイルシステムや HDFSの中に保存されているデータもすべて削除されます。必要なファイルは Object Storageバケットにコピーしておくなどバックアップを別途行ってください。
Object Storageファイルまたはバケット削除
Object Storageコンソールで削除するファイルを選択した後、 [編集] > 削除するをクリックします。
Object Storageファイルまたはバケット削除に関する詳細は、Object Storageご利用ガイドをご参照ください。
削除が完了した Object Storageファイルまたはバケットは復旧できません。慎重に行ってください。