Data Forest の利用シナリオ

VPC環境で利用できます。

Data Forestの利用シナリオを説明します。

Step 1. アカウント作成

1. NAVERクラウドプラットフォームコンソールにアクセスします。
2. Platformメニューの VPCをクリックして VPC環境に変更します。
3. Services > Big Data & Analytics > Data Forestメニューを順にクリックします。
4. Accountsで [アカウント作成] ボタンをクリックします。
5. アカウント名に「df-test」と入力してアカウントのパスワードを入力し、[作成] ボタンをクリックします。

Step 2. ノートブック作成

事前作業

ネットワークへのアクセス制御のために VPCと Subnetを作成します。

• VPCと Subnetご利用ガイド
• ファイアウォール設定(ACG)

1. Services > Big Data & Analytics > Data Forestメニューを順にクリックします。
2. Notebooksで [ノートブック作成] ボタンをクリックします。
3. ノートブックの設定情報を入力し、[次へ] ボタンをクリックします。
   • アカウント名: 「df123」と入力
   • ノートブック名: 「my-notebook」と入力
   • VPC/Subnet: 事前作業で作成した情報を入力
4. ユーザー設定が必要な場合、関連情報を入力します。
5. 認証キーの設定で保有している認証キーを選択するか、新しい認証キーを作成して [次へ] ボタンをクリックします。
6. 最終確認し、[作成] ボタンをクリックします。

Step 3. アプリ作成

1. Data Forest > Appsをクリックし、[App作成] ボタンをクリックします。
2. アプリ情報を入力します。
   • アカウント名: 「df123」と入力
   • アプリのタイプ: 「HUE-4.7.0」を選択
   • アプリ名: 「my-hue」と入力
   • 稼働時間: 「604800」と入力
   • キュー: 「Longlived」を選択
     
3. 基本設定を完了し、[次へ] ボタンをクリックします。
4. 最終確認し、[作成] ボタンをクリックします。

Step 4. SSHトンネリング

1. ノートブックノードと SSHトンネルを作成するためにユーザー PCのターミナルで以下のコマンドを入力します。

   • -D {port number}オプションを用いると、ユーザーの PCで任意のポートを指定可能
   • ノートブックの作成時に設定した認証キーを基にノートブックノードにアクセス可能

    $ ssh - i <pem-key-file> -C2qTnNf -D 9494 forest@<Notebook-Domain>
   

2. ノートブックにアクセスします。

ブラウザでプロキシを設定

Firefoxブラウザでのプロキシ設定

Firefoxブラウザでプロキシを設定する方法は、次の通りです。

1. Firefoxブラウザを開きます。
2. ブラウザ右上の > 設定 > ネットワーク設定 > [設定] ボタンをクリックします。
3. インターネットプロキシへのアクセス設定 > 手動プロキシ設定をクリックします。
4. SOCKSホスト情報を入力します。
   • SOCKS v5を選択
   • SOCKSホスト: 127.0.0.1と入力
   • ポート: 9494
     
5. 「パスワードが保存されている場合は認証時に入力を省略する」、「SOCKS v5を使用する時にプロキシ DNS」のチェックボックスをクリックします。
6. プロキシの設定が完了したら、[確認] ボタンをクリックします。

macOSの Chromeブラウザでのプロキシ設定

macの OSで Chromeブラウザでプロキシを設定する方法は、次の通りです。

cmdで次のコマンドを実行します。

$ /Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome --proxy server="socks5://127.0.0.1:9876"

Windowsの Chromeブラウザでのプロキシ設定

Windowsの OSで Chromeブラウザでプロキシを設定する方法は、次の通りです。

1. Chromeアイコンを右クリックし、プロパティをクリックします。
2. Chromeプロパティ画面が表示されたら [ショートカット] タブ > ターゲット(T) の入力されたテキストの末尾に --proxy-server="socks5://127.0.0.1:9876"を追加します。

Step 5. Quick linksアクセスの確認

アプリから Quick Linksにアクセスできるかどうかを確認する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールで、Services > Big Data & Analytics > Data Forest >Appsメニューを順にクリックします。
2. Hueアプリをクリックして詳細情報領域を開きます。
3. アプリの詳細情報領域で Quick linksのリンクをクリックします。
4. 正常にアクセスされたか確認します。
   • 正常にアクセスされるとトンネリングが完了したことを意味し、HUEアプリを通じて HDFSのファイルを管理できます。

Step 6. Zeppelin、HiveServerアプリの連携

Apache Zeppelin、Apache HiveServerアプリを連携する方法は、次の通りです。

1. 「HIVESERVER2-LDAP-3.1.0」、「DEV-1.0.0」、「ZEPPELIN-0.10.1」アプリを作成します。
2. 作成した Zeppelinアプリをクリックし、Quick linksの zeppelin URLにアクセスします。
   
3. アカウント名と、そのアカウントの作成時に入力したパスワードを入力してログインします。
4. 画面右上のアカウントをクリックし、Interpreterをクリックします。
   
5. JDBCインタープリターを検索します。
   
6. 画面右上の [edit] ボタンをクリックします。
   
7. 以下のように Propertiesに hive.password項目を追加します。
   
   • Hive.driver: JDBC driverクラスパス(org.apache.hive.jdbc.HiveDriver)を入力
   • hive.password: ログインしたアカウントのパスワードを入力
   • hive.proxy.user.property: hive.server2.proxy.userと入力
   • hive.splitQueries: trueと入力
   • hive.url: Hiveserver2-ldapアプリ作成時に提供される JDBC connection string Exampleを入力
     • アカウントの作成時に設定したパスワードに特殊文字が含まれている場合、urlエンコードで置換してから入力
   • hive.user: アカウント名(df-test)を入力
8. Dependencies > artifact項目に /usr/hdp/current/hive-client/jdbc/hive-jdbc-3.1.0.3.1.0.0-78-standalone.jar を入力します。
   
9. [Save] ボタンをクリックします。
10. 新しいノートブックを作成するために、[Notebook] > Create new noteをクリックします。
    
11. 作成されたコードと同様に、Data Forestで作成した Hive DBとテーブルの読み取りと書き込みを行えるステータスになります。
    

Step 7. アプリ削除

使用しなくなったアプリは削除できます。 アプリを削除する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールの Services > Big Data & Analytics > Data Forest > Appsメニューを順にクリックします。
2. アプリリストで削除したいアプリを選択し、[終了] ボタンをクリックします。
3. 終了した(Finished)アプリを選択し、[削除] ボタンをクリックします。

Step 8. ノートブック削除

使用しなくなったノートブックは削除できます。 ノートブックを削除する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールの Services > Big Data & Analytics > Data Forest > Notebooksメニューを順にクリックします。
2. ノートブックリストで削除したいノートブックを選択し、[削除] ボタンをクリックします。

Step 9. アカウント削除

使用しなくなったアカウントは削除できます。 アカウントを削除する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールの Services > Big Data & Analytics > Data Forest > Accountsメニューを順にクリックします。
2. 削除したいアカウントを選択し、[削除] ボタンをクリックします。