Cloud Hadoop を開始する

最新のコンテンツが反映されていません。早急にアップデート内容をご提供できるよう努めております。最新のコンテンツ内容は韓国語ページをご参照ください。

VPC環境で利用できます。

Cloud Hadoopで提供する Cloud Hadoopのスペックを確認して全体シナリオを十分熟知したら、Cloud Hadoopの利用を始めるための準備が完了します。次は、Cloud Hadoopクラスタを作成します。Cloud Hadoopクラスタの作成と管理は、NAVERクラウドプラットフォームコンソールで行います。
スタートガイドで学習する内容をまとめると、次の通りです。

• 事前タスク
• クラスタ作成
• クラスタ削除

事前タスク

1. Object Storage作成
   クラスタを作成する前にデータを保存して検索するための Object Storageバケットを作成します。詳細は、Object Storageガイドをご参照ください。

2. VPC、Subnet作成
   NAVERクラウドプラットフォームコンソールの Networking > VPC で VPCと Subnetを作成します。詳細は、VPCご利用ガイドをご参照ください。クラスタ数に関係なく、VPCは最小1個が必要です。複数のクラスタを同じ VPCで使用できます。民間 VPC環境では KR-2リージョンでのみ VPCを作成できます。
   Cloud Hadoopの作成時、Public Subnetと Private Subnetをノードの用途に合わせて作成して使用できます。VPC環境では、エッジノードとマスターノードは Public Subnetまたは Private Subnetに設定でき、ワーカーノードは Private Subnetにのみ設定できます。Cloud Hadoop作成時にエッジノード数は1個、マスターノード数は2個に固定されます。このガイドでは、Private Subnetを1個、Public Subnetを2個作成しました。

3. ノードタイプの選択
   予想使用量を考慮して、ノードタイプを予め選択します。

クラスタ作成

NAVERクラウドプラットフォームの Cloud Hadoopサービスを使用するには、最初にクラスタを作成します。

Cloud Hadoopクラスタを作成する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールにアクセスします。
2. Platform メニューの VPC をクリックして VPC環境に変更します。
3. Services > Big Data & Analytics > Cloud Hadoop メニューを順にクリックします。
4. [クラスタ作成] ボタンをクリックします。
5. クラスタの作成画面が表示されたら、次のステップを順に行います。
   • 1. クラスタ設定
   • 2. ストレージとサーバ設定
   • 3. 認証キー設定
   • 4. 最終確認

1. クラスタ設定

クラスタの設定情報を指定した後、 [次へ] ボタンをクリックします。

• クラスタバージョン : 現在 Cloud Hadoop 1.3、1.4、1.5、1.6、1.7、1.8、1.9、2.0、2.1バージョンを提供します。クラスタのバージョンに関する詳細は、Cloud Hadoop のリリースノートをご参照ください。
• クラスタタイプ : クラスタのタイプは現在 Core Hadoop、Presto、HBase、Sparkの4種類で、必要なコンポーネントがインストールされたタイプを選択できます。必要なサービスを追加する場合、クラスタ管理ツールの Ambariの Add Service 機能を使用できます。
• クラスタ管理者アカウント : Ambari、Hue、Zeppelin管理コンソールにアクセスするためのクラスタアカウントを設定します。
• クラスタ add-on : 基本タイプの他に追加インストールするコンポーネントをオプションとして選択し、構成できます。
• Data Catalogサービスのカタログを使用する: Cloud Hadoopハイブメタストアを Data Catalogサービスのカタログを用いて提供します。
• ケルベロス認証構成 : Kerberosを用いて Secure Hadoopクラスタを構成する場合に選択します。Realmとは、認証管理ドメインです。以下の設定値通りに KDC(Kerberos Distribute Center)を構成します。
• Realm: KDCの Realm情報 KDC admin(Realm名は大文字のみ許可)
• KDC管理者アカウントパスワード: KDC adminアカウントのパスワード
• VPC : 事前タスクで作成した VPCを選択します。
• クラスタ管理者アカウント : Ambari、Hue、Zeppelin管理コンソールにアクセスするためのクラスタアカウントを設定します。
• クラスタ管理者アカウントのパスワード : クラスタアカウントのパスワードを入力します。
• ACG設定 : Cloud Hadoop ACGはクラスタを作成するたびに自動作成されます。ネットワーク ACLを設定する場合、自動で作成された ACGを選択してルールを修正できます。ACG設定に関する詳細は、ファイアウォール設定(ACG)ガイドをご参照ください。

2. ストレージとサーバ設定

ストレージとノードサーバの設定情報を指定した後、 [次へ] ボタンをクリックします。

• Object Storageバケット : Cloud Hadoopクラスタは事前タスクで作成した Object Storageバケットでデータの読み取りと書き込みができます。クラスタの作成時に、事前タスクで作成した Object Storageバケットを選択します。ロックが設定された Cloud Hadoopと連携しません。Object Storageバケットの作成時にご参照ください。
• Bootstrap script : ブートストラップのスクリプト機能は Cloud Hadoopと連携している Object Storageバケットにアップロードしたシェルスクリプト(Shell Script)を Cloud Hadoopを作成する時点で実行する機能です。使用するには、チェックボックスを選択してアップロードしたシェルスクリプトのファイル名を入力します。Object Storageバケットにファイルが存在しないか、正しくないタファイル名を入力した場合、実行されません。ブートストラップの実行ログは Object Storageバケットにアップロードされたシェルスクリプトと同じパスで確認できます。
• 高可用性サポート : Cloud Hadoopは基本として HDFS NameNode、YARN Resource Manager、Oozie Server、HiveServerに関する冗長化を提供します。これは最小スペックであるため、選択は解除できません。
• エッジノードのサーバタイプ : エッジノードとして使用するサーバタイプを選択します。エッジノードとして使用できるサーバの仕様は、クラスタノード別のサポートサーバの仕様をご参照ください。
• エッジノード Subnet : エッジノードを配置する Subnetを選択します。
• エッジノード数 : エッジノード数は1個に固定されています。
• マスターノード Subnet : マスターノードを配置する Subnetを選択します。
• マスターノードのサーバタイプ : マスターノードとして使用するサーバタイプを選択します。マスターノードとして使用できるサーバの仕様は、クラスタノード別のサポートサーバの仕様をご参照ください。
• マスターノード数 : Cloud Hadoopは最小スペックで高可用性を提供するため、マスターノード数は2個に固定されています。
• マスターノードのストレージタイプ : ストレージタイプを選択します。SSDと HDDの中から選択できます。クラスタを作成した後はストレージタイプを変更できません。
• マスターノードのストレージ容量 : ストレージ容量を選択します。最小100GB~2000GB(10GB単位)、4000GB、6000GBまで選択できます。
• ワーカーノード Subnet : ワーカーノードを配置する Subnetを選択します。
• ワーカーノードのサーバタイプ : ワーカーノードとして使用するサーバタイプを選択します。ワーカーノードとして使用できるサーバの仕様は、クラスタノード別のサポートサーバの仕様をご参照ください。
• ワーカーノード数 : ワーカーノード数は2~8個まで選択できます。ワーカーノードは、クラスタの作成後にも追加または削除できます。
• ワーカーノードのストレージタイプ : ストレージタイプを選択します。SSDと HDDの中から選択できます。クラスタを作成した後はストレージタイプを変更できません。
• ワーカーノードのストレージ容量 : ストレージ容量を選択します。最低100GBから6Tまで選択でき、10GB単位で指定できます。
• 料金プラン : アカウントの作成時に選択した料金プランが適用されます。料金に関する詳細は、料金のご案内をご参照ください。

3. 認証キー設定

ノードに直接アクセスする時に必要な SSH認証キーを設定します。
保有している認証キーを選択するか、新しい認証キーを作成し、 [次へ] ボタンをクリックします。

• 新しい認証キーを作成するには、 新しい認証キー作成 を選択して認証キー名を入力し、 [認証キー作成と保存] ボタンをクリックします。

4. 最終確認

設定内容を確認した後、 [作成] ボタンをクリックします。

クラスタ削除

Cloud Hadoopクラスタを削除する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールの Classic環境で Services > Big Data & Analytics > Cloud Hadoop メニューを順にクリックします。
2. クラスタリストで削除するクラスタを選択し、 [削除] ボタンをクリックします。
3. 削除の確認ポップアップで当該クラスタ名を入力し、 [はい] ボタンをクリックします。

Object Storageファイルまたはバケット削除

Object Storageコンソールで削除するファイルを選択した後、 [編集] > 削除する をクリックします。
Object Storageファイルまたはバケット削除に関する詳細は、Object Storageご利用ガイドをご参照ください。