Data Forest 이용 시나리오

VPC 환경에서 이용 가능합니다.

Data Forest의 이용 시나리오를 설명합니다.

Step 1. 계정 생성

1. 네이버 클라우드 플랫폼 콘솔에 접속해 주십시오.
2. Platform 메뉴의 VPC을 클릭해 VPC 환경으로 변경해 주십시오.
3. Services > Big Data & Analytics > Data Forest 메뉴를 차례대로 클릭해 주십시오.
4. Accounts에서 [계정 생성] 버튼을 클릭해 주십시오.
5. 계정 이름에 'df-test'를 입력하고 계정 패스워드를 입력한 후 [생성] 버튼을 클릭해 주십시오.

Step 2. 노트북 생성

사전 작업

네트워크 접근 제어를 위해 VPC와 Subnet 생성을 진행해 주십시오.

• VPC 및 Subnet 사용 가이드
• 방화벽 설정(ACG)

1. Services > Big Data & Analytics > Data Forest 메뉴를 차례대로 클릭해 주십시오.
2. Notebooks에서 [노트북 생성] 버튼을 클릭해 주십시오.
3. 노트북 설정 정보를 입력한 후 [다음] 버튼을 클릭해 주십시오.
   • 계정 이름: 'df123' 입력
   • 노트북 이름: 'my-notebook' 입력
   • VPC/Subnet: 사전 작업에서 생성한 정보 입력
4. 사용자 설정이 필요할 경우 관련 정보를 입력해 주십시오.
5. 인증키 설정에서 보유하고 있는 인증키를 선택하거나 새로운 인증키를 생성 한 후 [다음] 버튼을 클릭해 주십시오.
6. 최종 확인 후 [생성] 버튼을 클릭해 주십시오.

Step 3. 앱 생성

1. Data Forest > Apps을 클릭하고 [App 생성] 버튼을 클릭해 주십시오.
2. 앱 정보를 입력해 주십시오.
   • 계정 이름: 'df123' 입력
   • 앱 타입: 'HUE-4.7.0' 선택
   • 앱 이름: 'my-hue' 입력
   • 구동시간: '604800' 입력
   • 큐: 'Longlived' 선택
     
3. 기본 설정을 완료한 후에 [다음] 버튼을 클릭해 주십시오.
4. 최종 확인 후 [생성] 버튼을 클릭해 주십시오.

Step 4. SSH 터널링

1. 노트북 노드와 SSH 터널을 생성하기 위해 사용자 PC의 터미널에서 아래 명령어를 입력해 주십시오.
   • -D {port number} 옵션으로 사용자의 PC에서 임의의 포트 지정 가능
   • 노트북 생성시 설정한 인증키를 기반으로 노트북 노드에 접속이 가능함

    $ ssh - i <pem-key-file> -C2qTnNf -D 9494 forest@<Notebook-Domain>
   

2. 노트북에 접속해 주십시오.

브라우저에서 프록시 설정

Firefox 브라우저에서 프록시 설정

Firefox 브라우저에서 프록시 설정하는 방법은 다음과 같습니다.

1. Firefox 브라우저를 열어 주십시오.
2. 브라우저 우측 상단의 > 설정 > 네트워크 설정 > [설정] 버튼을 클릭해 주십시오.
3. 인터넷 프록시 접근 설정 > 수동 프록시 설정을 클릭해 주십시오.
4. SOCKS 호스트 정보를 입력해 주십시오.
   • SOCKS v5 선택
   • SOCKS 호스트: 127.0.0.1 입력
   • 포트: 9494
     
5. '비밀번호가 저장되어 있으면 인증 시 묻지 않기', 'SOCKS v5를 사용할 때 프록시 DNS'의 체크 박스를 클릭해 주십시오.
6. 프록시 설정이 완료되면 [확인] 버튼을 클릭해 주십시오.

macOS의 Chrome 브라우저에서 프록시 설정

mac 운영체제에서 Chrome 브라우저로 프록시 설정하는 방법은 다음과 같습니다.

cmd에 다음 명령어를 실행해 주십시오.

$ /Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome --proxy server="socks5://127.0.0.1:9876"

Windows의 Chrome 브라우저에서 프록시 설정

Windows 운영체제에서 Chrome 브라우저로 프록시 설정하는 방법은 다음과 같습니다.

1. Chrome 아이콘을 마우스 오른쪽 버튼으로 클릭한 후 속성을 클릭해 주십시오.
2. Chrome 속성 창이 나타나면 [바로 가기] 탭 > 대상(T) 의 입력된 텍스트 끝에 --proxy-server="socks5://127.0.0.1:9876"을 추가해 주십시오.

Step 5. Quick links 접속 확인

앱의 Quick links 접속 여부를 확인하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼 콘솔에서 Services > Big Data & Analytics > Data Forest >Apps 메뉴를 차례대로 클릭해 주십시오.
2. Hue 앱을 클릭하여 상세 정보 영역을 열어 주십시오.
3. 앱 상세 정보 영역에서 Quick links의 링크를 클릭해 주십시오.
4. 정상적으로 접속되는지 확인해 주십시오.
   • 정상적으로 접속되면 터널링이 완료된 것이며, Hue 앱을 통해 HDFS의 파일을 관리할 수 있습니다.

Step 6. Zeppelin, HiveServer 앱 연동

Apache Zeppelin, Apache HiveServer 앱을 연동하는 방법은 다음과 같습니다.

1. 'HIVESERVER2-LDAP-3.1.0', 'DEV-1.0.0', 'ZEPPELIN-0.10.1 앱을 생성해 주십시오.
2. 생성한 Zeppelin 앱을 클릭한 후, Quick links의 zeppelin URL에 접속해 주십시오.
   
3. 계정 이름과 해당 계정 생성 시 입력한 비밀번호를 입력하여 로그인해 주십시오.
4. 화면 우측 상단의 계정을 클릭한 후 Interpreter를 클릭해 주십시오.
   
5. JDBC 인터프리터를 검색하여 주십시오.
   
6. 화면 우측 상단의 [edit] 버튼을 클릭해 주십시오.
   
7. 아래과 같이 Properties에 hive.password 항목을 추가해 주십시오.
   
   • hive.driver: JDBC driver 클래스 경로(org.apache.hive.jdbc.HiveDriver) 입력
   • hive.password: 로그인한 계정의 비밀번호 입력
   • hive.proxy.user.property: hive.server2.proxy.user 입력
   • hive.splitQueries: true 입력
   • hive.url: Hiveserver2-ldap 앱 생성 시 제공되는 JDBC connection string Example 입력
     • 계정 생성 시 설정한 비밀번호에 특수기호가 포함된 경우 url 인코딩으로 치환한 후 입력
   • hive.user: 계정 이름(df-test) 입력
8. Dependencies > artifact 항목에 /usr/hdp/current/hive-client/jdbc/hive-jdbc-3.1.0.3.1.0.0-78-standalone.jar 를 입력해 주십시오.
   
9. [Save] 버튼을 클릭해 주십시오.
10. 새로운 노트북을 생성하기 위해 [Notebook] > Create new note 를 클릭해 주십시오.
    
11. 작성된 코드와 같이 Data Forest에서 생성한 Hive DB 및 테이블을 읽고 쓰는 것이 가능한 상태가 됩니다.
    

Step 7. 앱 삭제

더 이상 사용하지 않는 앱은 삭제할 수 있습니다. 앱을 삭제하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼 콘솔의 Services > Big Data & Analytics > Data Forest > Apps 메뉴를 차례대로 클릭해 주십시오.
2. 앱 목록에서 삭제하려는 하는 앱을 선택한 후 [종료] 버튼을 클릭해 주십시오.
3. 종료된(Finished) 앱을 선택한 후 [삭제] 버튼을 클릭해 주십시오.

Step 8. 노트북 삭제

더 이상 사용하지 않는 노트북은 삭제할 수 있습니다. 노트북을 삭제하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼 콘솔의 Services > Big Data & Analytics > Data Forest > Notebooks 메뉴를 차례대로 클릭해 주십시오.
2. 노트북 목록에서 삭제하려는 하는 노트북을 선택한 후 [삭제] 버튼을 클릭해 주십시오.

Step 9. 계정 삭제

더 이상 사용하지 않는 계정은 삭제할 수 있습니다. 계정을 삭제하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼 콘솔의 Services > Big Data & Analytics > Data Forest > Accounts 메뉴를 차례대로 클릭해 주십시오.
2. 삭제하려는 하는 계정을 선택한 후 [삭제] 버튼을 클릭해 주십시오.