Superset

Classic/VPC 환경에서 이용 가능합니다.

Data Analytics Service는 데이터 시각화 도구인 Superset을 제공합니다. Superset에서는 Data Analytics Service가 제공하는 대시보드를 활용하거나 직접 용도에 맞는 대시보드를 생성할 수 있습니다. 또한, SQL 구문을 이용하여 PostgreSQL DB를 관리할 수 있습니다.

Superset 초기 설정

Superset을 사용하려면 먼저 Superset의 초기 설정을 완료해야 합니다. 초기 설정을 통해 Superset 관리자 계정과 PostgreSQL DB의 테이블 및 대시보드를 생성하고, Object Storage의 데이터를 가져올 수 있도록 인증 정보를 설정합니다.

Superset 초기 설정을 하려면 다음 절차를 차례대로 실행해 주십시오.

• 1. Superset 서버 접속
• 2. 스크립트 실행

1. Superset 서버 접속

터미널 프로그램을 이용하여 Superset 서버에 접속합니다. 이 사용 가이드에서는 PuTTY를 이용하여 접속하는 방법을 설명합니다. Superset 서버에 접속하는 방법은 다음과 같습니다.

1. PuTTY를 실행해 주십시오.
   • PuTTY 실행 파일은 https://www.putty.org/에서 다운로드할 수 있습니다.
2. 서버의 IP 주소 및 포트 번호를 입력하고 연결 타입을 선택한 후 [Open] 버튼을 클릭해 주십시오.
   • HostName (or IP address): 시각화 서버의 공인 IP 주소 입력
     • 공인 IP 주소: 콘솔의 Data Analytics Service > Package 메뉴에서 패키지 목록의 대시보드 URL 확인
       <예시> 대시보드 URL이 'http://xxx.xxx.xxx.xxx:18088'인 경우, 공인 IP 주소는 'xxx.xxx.xxx.xxx'
   • Port: 22 입력
   • Connection type: SSH 선택
3. 팝업 창이 나타나고 login as가 표시되면 root를 입력한 후 [Enter] 키를 눌러 주십시오.
   • 처음 서버에 접속하는 경우, PuTTY Security Alert 팝업 창이 나타납니다. [Accept] 버튼을 클릭해 주십시오.
4. 시각화 서버 비밀번호를 입력한 후 [Enter] 키를 눌러 주십시오.
   • 시각화 서버 비밀번호: 콘솔의 Data Analytics Service > Package 메뉴에서 패키지 목록의 [비밀번호확인] 버튼을 클릭하여 비밀번호 확인

2. 스크립트 실행

제공되는 스크립트를 실행하여 Superset 관리자 계정과 PostgreSQL DB의 테이블 및 대시보드를 생성하고, Object Storage의 데이터를 가져올 수 있도록 인증 정보를 설정합니다.

1. package-init 명령어를 입력해 주십시오.
   • 시간이 수 분 소요될 수 있습니다.
2. das auth 명령어를 입력해 주십시오.
3. 다음 정보를 차례대로 입력해 주십시오.
   
   • Please enter the key: 포털의 마이페이지 > 계정관리 > 인증키 관리 메뉴에서 생성된 인증키의 Access Key ID 값 입력
   • Please enter the secret: 포털의 마이페이지 > 계정관리 > 인증키 관리 메뉴에서 생성된 인증키의 Secret Key 값 입력
   • Please enter the bucket name: Object Storage 버킷 이름 입력
     • Object Storage 버킷: 콘솔의 Data Analytics Service > Package 메뉴에서 패키지 목록의 오브젝트 스토리지 버킷 확인

Superset 접속 및 대시보드 확인

초기 설정을 완료한 Superset에 접속하고 대시보드를 확인하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼 콘솔의 Region 메뉴와 Platform 메뉴에서 이용 중인 환경을 클릭해 주십시오.
2. Services > Big Data & Analytics > Data Analytics Service 메뉴를 차례대로 클릭해 주십시오.
3. Package 메뉴를 클릭해 주십시오.
4. 대시보드 URL을 클릭해 주십시오.
5. 계정 정보를 입력한 후 [Sign In] 버튼을 클릭해 주십시오.
   
   • Username: admin 입력
   • Password: 비밀번호 입력
     • 초기 비밀번호: 콘솔의 Data Analytics Service > Package 메뉴에서 패키지 목록의 시각화 서버 이름 확인
6. 원하는 대시보드를 클릭하여 데이터를 확인해 주십시오.
   • 데이터가 데이터베이스로 인입되지 않은 경우 No Data로 표시됩니다.
     • 사이트 데이터를 신규로 신청한 경우, 최대 30일의 데이터가 집계되어 데이터베이스에 인입되기까지 수 시간이 소요될 수 있습니다.
     • 오래된 날짜의 데이터부터 인입됩니다.
   • 용도에 맞는 대시보드를 직접 생성할 수도 있습니다. 자세한 내용은 Superset 홈페이지(영문)를 참조해 주십시오.

Superset에서 DB 작업 수행

테이블 생성이나 데이터 조회, 입력 등의 DB 작업이 필요한 경우 Superset에서 SQL 구문을 통해 DB 작업을 수행할 수 있습니다. Superset에서 DB 작업을 수행하는 방법은 다음과 같습니다.

1. Superset에 접속해 주십시오.
   • 접속 방법은 Superset 접속 및 대시보드 확인을 참조해 주십시오.
2. SQL Lab > SQL Editor 메뉴를 차례대로 클릭해 주십시오.
3. Database 드롭다운 메뉴에서 'da_han'을 선택한 후, Schema 드롭다운 메뉴에서 'public'을 선택해 주십시오.
   
4. SQL 구문을 작성한 후 [Run Query] 버튼을 클릭해 주십시오.
   • [Results] 탭에서 작업 결과를 확인할 수 있습니다.

블록 스토리지 관리

신청한 데이터는 패키지 생성 시 제공되는 블록 스토리지에 저장됩니다. 따라서, 최신 데이터가 저장될 수 있도록 블록 스토리지의 여유 공간을 확보해야 합니다. 블록 스토리지의 사용량을 확인하는 방법과 불필요한 데이터를 삭제하는 방법을 확인해 주십시오.

• 블록 스토리지 사용량 확인
• 불필요한 데이터 삭제

블록 스토리지 사용량 확인

블록 스토리지의 현재 사용량을 확인하는 방법은 다음과 같습니다.

1. Superset 서버에 접속해 주십시오.
   • Superset 서버 접속 방법은 1. Superset 서버 접속을 참조해 주십시오.
2. df -h 명령어를 입력해 주십시오.
3. /das로 마운트된 블록 스토리지의 사용량을 확인해 주십시오.
   
   • Size: 스토리지 전체 용량
   • Used: 사용 중인 용량
   • Avail: 사용 가능한 용량
   • Use%: 전체 용량 중 사용 중인 용량의 비율(%)

불필요한 데이터 삭제

SQL 구문을 사용하여, PostrgreSQL DB에 저장된 데이터를 삭제할 수 있습니다.

다음 SQL 구문을 참고하여 불필요한 데이터를 삭제해 주십시오.

• 특정 한 달간의 데이터 삭제
  • 데이터가 파티션 테이블에 저장되는 테이블의 경우, 파티션 테이블을 삭제하여 해당 테이블 및 해당 테이블의 데이터로 추가한 테이블의 한 달간의 데이터 삭제 가능
    <예시> 2019년 12월의 데이터 삭제

  DROP TABLE da_site_log_201912;
  DROP TABLE da_site_kwd_201912;
  DROP TABLE da_visitor_kwd_sum_201912;
  

  참고

  파티션 테이블에 데이터를 저장하는 테이블은 다음과 같습니다. (각 테이블에 대한 자세한 내용은 데이터 참조)

  • da_site_log
  • da_site_kwd
  • da_visitor_kwd_sum
  • da_datalab_shopping
• 조건을 설정하여 불필요한 데이터 삭제
  • 특정 날짜 이전 데이터 삭제
    <예시> 2020년 1월 1일 이전의 데이터 삭제

    DELETE FROM da_site_log_date WHERE 방문일자 < '2020-01-01';
    DELETE FROM da_site_log_hour WHERE 방문일자 < '2020-01-01';
    DELETE FROM da_visitor_kwd_sum_top WHERE 검색일자 < '2020-01-01';
    

  • 특정 사이트의 데이터 삭제
    <예시> 사이트 ID가 '15cacccfe'인 사이트의 데이터 삭제

    DELETE FROM da_site_log WHERE 사이트id = '15cacccfe';