Data Forest CLI を使用する
- 印刷する
- PDF
Data Forest CLI を使用する
- 印刷する
- PDF
Article Summary
Share feedback
Thanks for sharing your feedback!
VPC環境で利用できます。
Data Forestは CLI(Command Line Interface、コマンドラインインターフェース)を提供します。ユーザーは Data Forest CLIの利用時に GPUを動的に割り当てられ、希望するディープラーニングソリューションとプログラムを実行できます。このガイドでは、利用シナリオに基づいた Data Forest CLIの使用方法を説明します。
事前作業
Data Forestのアカウント、ノートブック作成、クラスタ環境構成の作業が必要です。
- NAVERクラウドプラットフォームのコンソールにアクセスします。
- Services > Big Data & Analytics > Data Forest > Accounts メニューで [アカウント作成] ボタンをクリックします。
- Data Forestアプリを提出するアカウントを作成します。
- Services > Big Data & Analytics > Data Forest > Notebooks > [ノートブック作成] ボタンをクリックし、ノートブックを作成します。
- Data Forestクラスタにアクセスできるように環境構成作業を行います。
- 環境構成方法は、Data Forest を開始するをご参照ください。
Data Forest CLI を使用する
Step1. ノートブック情報確認
ノートブックの詳細情報を確認する方法は、次のとおりです。
NAVERクラウドプラットフォームコンソールで Services > Big Data & Analytics > Data Forest メニューを順にクリックします。
左側の Notebooks メニューをクリックします。ユーザーが作成したノートブックのリストが確認できます。
名前 説明 ノートブック名 作成されたノートブック名 アカウント ノートブックを所有したアカウント ノートブックタイプ 作成したノートブックタイプ。現在の Jupyterlabタイプのみ提供 状態 ノートブックノードの状態 サーバ仕様 ノートブックノードのサーバ仕様 VPC ノートブックが作成された VPC Subnet ノートブックノードに適用された Subnet 作成時間 ノートブックが作成された日付と時間 ノートブックリストの末尾にある [ボタン] をクリックしてノートブックの詳細情報を確認します。
項目 説明 アカウント名 ノートブックを所有したアカウント ノートブックタイプ 作成したノートブックタイプ。現在の Jupyterlabタイプのみ提供 ノートブック名 作成されたノートブック名 ノートブック ID ノートブックの固有 ID サーバ仕様 ノートブックノードのサーバ仕様 VPC ノートブックが作成された VPC Subnet ノートブックノードに適用された Subnet ACG ノートブックノードに適用された ACG 追加ストレージ 追加ストレージ情報 ドメイン グローバル IPアドレスに割り当てられたドメイン 認証キー名 ノートブックに適用された認証キー名 SSHアクセスアカウント ノートブックノードに SSHで直接アクセスするための OSアカウント名 ユーザー設定 ノートブックに適用されたユーザーの設定情報 Bucket Object Storage Bucket情報
ノートブックのウェブページにアクセス
ノートブックのウェブページにアクセスする方法は、次のとおりです。
- 事前作業でウェブページにアクセスする Notebookの ACGに JupyterLabの許可ポート80を追加します。
- Notebooksメニューからそのノートブックの詳細情報画面でドメインショートカットをクリックします。
- Public Subnetに作成されたノートブックノードはグローバル IPアドレスをベースに別途のトンネリング設定なしでウェブページにアクセスできます。
- JupyterLabウェブページのログイン画面が表示されると、パスワードを入力してアクセスします。
- パスワードはノートブックを作成する際にユーザー設定画面で Access Password項目に設定したパスワードです。
- パスワードを紛失したか変更が必要な場合は、そのノートブックの詳細を見る画面でユーザー設定の [詳細を見る/初期化] ボタンをクリックしてパスワードを初期化できます。
Step2. Data Forest CLIのダウンロード
ノートブック内でターミナルにアクセスします。
Data Forest CLI実行ファイルをダウンロードします。
$ wget http://dist.kr.df.naverncp.com/repos/df/notebook/static/dfctl
$ chmod +x dfctl
Step3. 認証とアクセス承認の実行
- ノートブック詳細情報確認ページで確認した[ノートブック ID]を使ってログインリクエストを行います。
$ ./dfctl login -i {ノートブック ID}
- 認証リクエスト情報を確認します。
| 項目 | 説明 |
|---|---|
| deviceCode | 現在承認する CLIの仮のコード |
| userCode | リクエスタ確認のためのコード |
| verificationUri | 認証を行うための仮の URL |
verificationUriにアクセスし、CLIで確認した deviceCode情報を確認してから userCodeを入力します。
当該ページで NCP SSO認証を行います。
注意
ブラウザクッキーに最近アクセスした履歴がある場合、ログインステップは省略されます。
デバイスにアクセス承認画面で [アクセス承認] ボタンをクリックします。
アクセスが承認されると CLIで access allowedが出力されたことを確認します。
Data Forest CLI
Data Forest CLIで使用できるコマンドは、次のとおりです。
Usage :
$ ./dfctl [Command] [SubCommand]...
Commands :
hdfs
Data Forest CLI: hdfs
chmod
Usage :
$ ./dfctl hdfs chmod [FLAGS] FILE
Flags :
-R, --recursive: ディレクトリとその中にあるサブディレクトリまですべて適用します。
Output :
- システムファイルまたはオブジェクトのアクセス権限を変更するか、修正します。
例)
[forest@2e11777d04cf ~][edge-df_beta]$ ./dfctl hdfs chmod 777 /user/test-df/dst_file
chown
Usage :
$ ./dfctl hdfs chown [FLAGS] FILE
Flags :
-r, --recursive: ディレクトリとその中にあるサブディレクトリまですべて適用します。
Output :
- ファイルやディレクトリの所有権を変更します。
例)
[forest@2e11000d04cf ~][edge-df_beta]$ ./dfctl hdfs chown -r forest /user/test-df
get
Usage :
$ ./dfctl hdfs get [REMOTE_FILE] [LOCAL_FILE]
Flags :
- N/A
Output :
- ファイルをリモートからローカルにコピーします。
例)
[forest@2e11000d04cf ~][edge-df_beta]$ ./dfctl hdfs get /test/df /test/local
ls
Usage :
$ ./dfctl hdfs chmod [FLAGS] FILE
Flags :
-a, --all: 隠されているファイルやディレクトリも表示します。-H, --human-readable-a, --all: K、M、G単位を使用してファイルサイズを可読性を高めて表示します。-l, --long: 詳細を出力します。-R, --recursive: ディレクトリとその中にあるサブディレクトリまですべて適用します。
Output :
- 現在のディレクトリのファイルリストを表示します。
例)
[forest@2e11777d04cf ~][edge-df_beta]$ ./dfctl hdfs ls
default user dir: /user/test-df
dst_file
src_file
test
mkdir
Usage :
$ ./dfctl hdfs mkdir [FLAGS] DIR
Flags :
-p, --parents: 上位パスも一緒に作成します。
Output :
- 新しいディレクトリを作成します。
例)
[forest@2e11000d04cf ~][edge-df_beta]$ ./dfctl hdfs mkdir /user/test-df/test
mv
Usage :
$ ./dfctl hdfs mv [FLAGS] [SRC_FILE] [DST_FILE]
Flags :
-n, --no-clobber: 移動するファイル名が既に存在する場合、上書きしません。-T, --no-target-directory: 移動するファイルを一般ファイルとして取り扱います。
Output :
- ファイルやディレクトリの名前を変更するか、他のディレクトリに移動します。
例)
[forest@2e11777d04cf ~][edge-df_beta]$ ./dfctl hdfs mv /user/test-df/src_file /user/test-df/dst_file2
[forest@2e11777d04cf ~][edge-df_beta]$ ./dfctl hdfs ls /user/test-df
dst_file2
put
Usage :
$ ./dfctl hdfs put [LOCAL_FILE] [REMOTE_FILE]
Flags :
- N/A
Output :
- ファイルをローカルからリモートでコピーします。
例)
[forest@2e11000d04cf ~][edge-df_beta]$ ./dfctl hdfs put /test/local /test/df
rm
Usage :
$ ./dfctl hdfs rm [FLAGS] FILE
Flags :
-R, --recursive: ディレクトリとその中にあるサブディレクトリまですべて適用します。-f, --force: 存在しないファイルの場合は無視します。
Output :
- このファイルを削除します。
例)
[forest@2e11000d04cf ~][edge-df_beta]$ ./dfctl hdfs rm /user/test-df/a
touch
Usage :
$ ./dfctl hdfs touch [FLAGS] FILE
Flags :
-c, --no-create: ファイルの時間を変更し、ファイルを作成しません。
Output :
- 有効な空のファイルを作成します。
例)
[forest@2e11000d04cf ~][edge-df_beta]$ ./dfctl hdfs touch /user/test-df/a
この記事は役に立ちましたか?