AI Forest 이용 시나리오

VPC 환경에서 이용 가능합니다.

AI Forest를 이용하여 HDFS에 데이터를 업로드하고 작업을 실행하는 시나리오는 다음과 같습니다.

Workspace 생성

워크스페이스를 생성하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼 콘솔에서 Services > Big Data & Analytics > Data Forest 메뉴를 차례대로 클릭해 주십시오.

2. AI Forest > Workspaces > [워크스페이스 생성] > [Advanced 워크스페이스] 를 클릭해 주십시오.

3. 워크스페이스 설정 정보를 입력해 주십시오.

   • 계정 이름: df-test
   • 워크스페이스 이름: ws
   • 워크스페이스 유형: Singlebatch

4. 도커 이미지는 Tensorflow를 선택하고 이미지 버전은 r2.3.1-py3를 선택해 주십시오.
   

   참고

   Pytorch는 Python 프로그램용 오픈소스 머신 러닝 라이브러리입니다. 자세한 내용은 Pytorch 홈페이지를 참조해 주십시오.

5. GPU 모델의 이름, GPU 코어 개수, 메모리 용량은 기본값으로 선택해 주십시오.
   

6. 데이터 설정 영역에 입력 정보를 입력하고 [추가] 버튼을 클릭해 주십시오.

   • 입력
     • Input Path: HDFS로부터 컨테이너로 복사될 입력 데이터의 경로. ‘/user/{username}/data_in’ 입력
     • Input Container Local Path: 컨테이너로 복사 후 저장된 데이터의 경로. ‘data_in’ 입력
   • 출력
     • Output Path: 컨테이너로부터 HDFS로 복사될 출력 데이터의 경로. ‘/user/{username}/data_out’ 입력
     • Output Container Local Path: 컨테이너에 저장된 출력 데이터의 경로. ‘data_out’ 입력
     • Overwrite: HDFS에 출력 데이터 저장 시 이미 파일이 있을 경우에 덮어 쓰기 여부 설정
       

7. [다음] 버튼을 클릭해 주십시오. 워크스페이스 생성이 완료됩니다.

HDFS에 데이터 업로드

사용자가 데이터 셋으로 모델을 직접 학습시키는 경우, Data Forest 워크스페이스 생성 시 입력했던 Input Path 경로에 데이터 셋이 준비되어 있어야 합니다.

HDFS의 아래 경로에 데이터를 업로드해 주십시오. 업로드한 데이터 셋은 워크스페이스 생성 시 입력했던 Input Container Local Path 경로 아래에 복사됩니다.

• hdfs://koya/user/{DataForest계정}/data_in
  

Workspace에 코드 업로드

워크스페이스에 코드를 작성하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼 콘솔에서 Services > Big Data & Analytics > Data Forest 메뉴를 차례대로 클릭해 주십시오.
2. AI Forest > Workspace Browser를 클릭해 주십시오.
3. 계정 및 워크스페이스를 선택하고 [업로드] 버튼을 클릭해 주십시오.
4. 업로드 창이 나타나면 run.sh 파일을 업로드 창에 끌어다 놓으십시오.
   • run.sh 작성 예시

     #!/bin/bash
     ls -l /data_in
     

5. [전송시작] 버튼을 클릭해 주십시오.
6. 업로드가 완료되면 [확인] 버튼을 클릭해 주십시오.

GPU batch 작업 제출

1. 네이버 클라우드 플랫폼 콘솔에서 Services > Big Data & Analytics > Data Forest 메뉴를 차례대로 클릭해 주십시오.
2. AI Forest > Workspace Browser를 클릭해 주십시오.
3. 계정을 선택한 후 워크스페이스를 선택해 주십시오.
4. 셸(shell) 스트립트 파일인 run.sh 파일의 체크 박스를 클릭하고 [실행] 버튼을 클릭해 주십시오.
5. 실행 창이 나타나면 Command 항목에 ./run.sh 을 입력하고 앱 이름에 aiforest를 입력해 주십시오.
6. [실행] 버튼을 클릭해 주십시오.
   
7. 실행된 작업 및 상세 정보는 AI Forest > Apps 메뉴에서 확인할 수 있습니다.

실행 로그 확인

실행 로그를 확인하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼 콘솔에서 Services > Big Data & Analytics > Data Forest > Apps 메뉴를 차례대로 클릭해 주십시오.
2. 현재 실행 중인 앱의 상세 정보에서 Quick links > AppMaster URL을 클릭해 주십시오.
   
3. Cluster > Application 메뉴를 클릭해 주십시오.
4. Name 값이 'aiforest'로 시작하는 애플리케이션의 ID를 찾아 클릭해 주십시오.
   
5. 해당 애플리케이션 ID의 Logs를 클릭해 주십시오. 수행한 앱의 로그를 확인할 수 있습니다.