AI Forest のシナリオ

VPC環境で利用できます。

AI Forestを利用してHDFSにデータをアップロードしてジョブを実行するシナリオは以下のとおりです。

ワークスペースの作成

ワークスペースを作成する方法は以下のとおりです。

1. NAVERクラウドプラットフォームコンソールで、Services > Big Data & Analytics > Data Forestメニューを順にクリックします。
2. AI Forest > Workspace > [ワークスペースの作成] > [Advancedワークスペース] をクリックします。
3. ワークスペースの設定情報を入力します。
   • アカウント名：df-test
   • ワークスペース名：ws
   • ワークスペースタイプ：Singlebatch
4. DockerイメージはTensorFlowを選択し、イメージのバージョンはr2.3.1-py3を選択します。
   

5. GPUモデルの名前、GPUコア数、メモリ容量はデフォルト値を選択します。
   
6. データの設定領域に入力情報を入力して [追加] ボタンをクリックします。
   • 入力
     • Input Path：HDFSからコンテナにコピーされる入力データのパス。「/user/{username}/data_in」を入力
     • Input Container Local Path：コンテナにコピー後に保存されたデータのパス。「data_in」を入力
   • 出力
     • Output Path：コンテナからHDFSにコピーされる出力データのパス。「/user/{username}/data_out」を入力
     • Output Container Local Path：コンテナに保存された出力データのパス。「data_out」を入力
       
7. [次へ] ボタンをクリックします。ワークスペース作成が完了します。

HDFSにデータをアップロード

ユーザーがデータセットでモデルを直接学習させる場合、 Data Forestのワークスペース作成時に入力したInput Pathパスにデータセットが位置している必要があります。

HDFSの以下のパスにデータをアップロードしてください。アップロードしたデータセットは、ワークスペース作成時に入力したInput Container Local Pathパスの下位にコピーされます。

• hdfs://koya/user/{DataForestアカウント}/data_in
  

ワークスペースにコードをアップロード

ワークスペースにコードを作成する方法は以下のとおりです。

1. NAVERクラウドプラットフォームコンソールで、Services > Big Data & Analytics > Data Forestメニューを順にクリックします。
2. AI Forest > Workspace Browserをクリックします。
3. アカウントとワークスペースを選択して [アップロード] ボタンをクリックします。
4. アップロード画面が表示されたら、run.shファイルをアップロード画面にドラッグアンドドロップします。
   • run.shの作成例

     #!/bin/bash
     ls -l /data_in
     

5. [転送開始] ボタンをクリックします。
6. アップロードが完了したら [確認] ボタンをクリックします。

GPUバッチジョブの提出

1. NAVERクラウドプラットフォームコンソールで、Services > Big Data & Analytics > Data Forestメニューを順にクリックします。
2. AI Forest > Workspace Browserをクリックします。
3. アカウントを選択してワークスペースを選択します。
4. シェルスクリプトファイルのrun.shファイルのチェックボックスをクリックし、[実行] ボタンをクリックします。
5. 実行画面が表示されたらCommand項目に./run.sh、アプリ名にaiforestを入力します。
6. [実行] ボタンをクリックします。
   
7. 実行されたジョブと詳細情報は、AI Forest > DL Appメニューで確認できます。

実行ログの確認

実行ログを確認する方法は以下のとおりです。

1. NAVERクラウドプラットフォームコンソールで、Services > Big Data & Analytics > Data Forest > Appメニューを順にクリックします。
2. 現在実行中のアプリの詳細情報で、Quick links > AppMaster URLをクリックします。
   
3. Cluster > Applicationメニューをクリックします。
4. Name値が「aiforest」で始まるアプリケーションのIDを探してクリックします。
   
5. そのアプリケーションIDのLogsをクリックします。実行したアプリのログを確認できます。