Table

VPC 환경에서 이용 가능합니다.

테이블(Table)은 데이터의 상세 정보와 스키마를 가진 메타데이터 정의입니다. 스캐너를 통해 테이블을 생성하거나 사용자가 직접 스키마를 정의하여 테이블을 생성할 수 있습니다. Table 메뉴에서는 테이블을 생성 및 관리하고 수집한 메타데이터를 확인할 수 있습니다.

Table 목록 화면

Data Catalog 이용을 위한 Table 메뉴의 기본적인 설명은 다음과 같습니다.

Table 상세 화면

Table 상세 화면 의 기본적인 설명은 다음과 같습니다.

테이블 생성

원하는 방식으로 테이블을 생성할 수 있습니다. 생성 방법은 다음과 같습니다.

• 스키마 수동 정의 테이블 생성: 데이터베이스 및 스키마를 직접 설정하여 테이블 생성
• 스캐너를 통한 테이블 생성: 스캐너를 통해 스키마를 자동으로 정의하여 테이블 생성

스키마 수동 정의 테이블 생성

데이터베이스 및 스키마를 직접 설정하여 테이블을 생성할 수 있습니다.

스키마 수동 정의 테이블을 생성하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼 콘솔의 VPC 환경에서 > Services > Big Data & Analytics > Data Catalog 메뉴를 차례대로 클릭해 주십시오.
2. Table 메뉴를 클릭해 주십시오.
3. [테이블 생성] 버튼을 클릭해 주십시오.
4. 스키마 수동 정의 테이블 생성을 클릭해 선택한 후 [다음] 버튼을 클릭해 주십시오.
5. 기본 정보를 입력해 주십시오.
   • 데이터베이스: 드롭다운 메뉴를 클릭하여 테이블을 연결할 데이터베이스를 선택
     • [데이터베이스 생성] 버튼을 클릭하여 데이터베이스를 생성할 수 있습니다.(데이터베이스 생성 참조)
   • 테이블 이름: 테이블 이름 입력
   • 위치: 테이블의 데이터가 존재하는 위치
   • 설명: 테이블 설명 입력
   • 테이블 유형
     • Catalog Default : Data Catalog에서 제공하는 기본 Hive Table 유형 입니다.
     • Apache Iceberg : 방대한 분석 데이터 세트를 위한 개방형 테이블 형식으로서, ACID 트랜잭션, 스키마 진화,Time Travel 쿼리 등을 지원하며 Spark, Trino, Hive에서 동시에 안전하게 작업 가능합니다
6. 데이터 형식을 선택해 주십시오.
   • Apache Iceberg 테이블 유형을 선택한 경우는 선택하지 않습니다
   • csv 선택 시, 구분 기호, 데이터 인식 기호, 제거 문자를 선택 또는 입력할 수 있습니다. 또한 제외할 헤더 라인 수를 입력할 수 있습니다.
   • xml 선택 시, Row Tag를 입력할 수 있습니다.
7. [추가] 버튼을 클릭한 후 스키마 정보를 입력하여 사용자 정의 스키마를 추가해 주십시오.
   • 데이터 유형에 대한 자세한 내용은 스키마 데이터 유형을 참조해 주십시오.
   • 스키마의 체크 박스를 클릭한 후 [삭제] 버튼을 클릭하여 추가한 스키마를 삭제할 수 있습니다.
   • 사용자 정의 스키마를 추가하지 않으면 필드 이름이 'default'인 스키마가 자동으로 추가됩니다.
   • 필드명에는 빈칸을 허용합니다.
8. 파티션 키 입력이 필요한 경우 파티션영역을 클릭한 후 파티션 키를 추가해 주십시오.
   • [추가] 버튼을 클릭한 후, 입력란에 파티션 키 명을 입력하면 파티션 키가 추가됩니다.
   • 파티션 의 체크 박스를 클릭하여 선택한 후 [삭제] 버튼을 클릭해 파티션 키를 삭제할 수 있습니다.
   • 파티션 키 명에 빈칸을 허용합니다.
   • Apache Iceberg 테이블 유형은 파티션을 입력하지 않습니다.
9. 태그가 필요한 경우, 태그 설정 영역을 클릭한 후 태그를 추가해 주십시오.
   • [추가] 버튼을 클릭한 후, 입력란에 태그 정보를 입력하면 태그가 추가됩니다.
     • 데이터 유형에 대한 자세한 내용은 태그 데이터 유형을 참조해 주십시오.
   • 태그의 체크 박스를 클릭하여 선택한 후 [삭제] 버튼을 클릭해 태그를 삭제할 수 있습니다.
   • [태그 템플릿 불러오기] 버튼을 클릭하면 태그 템플릿 불러오기 팝업 창이 나타납니다.
     • 태그 템플릿을 클릭하여 선택한 후 [추가] 버튼을 클릭하면 해당 태그 템플릿의 태그를 추가할 수 있습니다.
     • 태그 템플릿에 대한 자세한 내용은 Tag Template을 참조해 주십시오.
10. [생성] 버튼을 클릭해 주십시오.

스키마 데이터 유형

수동으로 정의할 수 있는 스키마의 데이터 유형과 유형별 설명은 다음과 같습니다.

데이터 유형별 상세 설정 입력 예시는 다음과 같습니다.

• <예시> array 유형의 상세 설정

  ARRAY <
     STRUCT <
        place: STRING,
        start_year: INT
     >
  >
  

• <예시> map 유형의 상세 설정

  MAP <
     STRING,
     ARRAY<STRING>
  >
  

• <예시> struct 유형의 상세 설정

  STRUCT <
     place: STRING,
     start_year: INT
  >
  

• <예시> uniontype 유형의 상세 설정

  UNIONTYPE <
     INT,
     DOUBLE,
     ARRAY<STRING>,
     STRUCT<a:INT,b:STRING>
  >
  

• <예시> list 유형의 상세 설정

  LIST <
     STRUCT <
        place: STRING,
        start_year: INT
     >
  >
  

스캐너를 통한 테이블 생성

스캐너를 통해 스키마를 자동으로 정의하여 테이블 생성하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼 콘솔의 VPC 환경에서 > Services > Big Data & Analytics > Data Catalog 메뉴를 차례대로 클릭해 주십시오.
2. Table 메뉴를 클릭해 주십시오.
3. [테이블 생성] 버튼을 클릭해 주십시오.
4. 스캐너를 통한 테이블 생성을 클릭해 선택한 후 [다음] 버튼을 클릭해 주십시오.
   • 스캐너 생성 화면으로 이동합니다.
5. 스캐너를 생성하고 실행하면 자동으로 테이블이 생성됩니다.
   • 테이블 이름은 소스 데이터의 이름을 바탕으로 자동 설정됩니다.
   • 스캐너 생성 및 실행에 대한 자세한 내용은 Scanner를 참조해 주십시오.

테이블 검색 및 정보 확인

생성한 테이블을 검색하고 정보를 확인하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼 콘솔의 VPC 환경에서 > Services > Big Data & Analytics > Data Catalog 메뉴를 차례대로 클릭해 주십시오.
2. Table 메뉴를 클릭해 주십시오.
3. 원하는 검색 조건을 입력한 후 을 클릭하여 테이블을 검색해 주십시오.
4. 테이블을 클릭하여 정보를 확인해 주십시오.
   • 데이터베이스: 테이블이 속한 데이터베이스 이름
   • 테이블: 테이블 이름
   • 위치: 테이블의 데이터가 존재하는 Object Storage 위치
   • 테이블 유형: 테이블 유형 (Catalog Default, Apache Iceberg)
   • 데이터 포맷: 스캔한 데이터의 형식 (csv, xml, json, parquet, orc, avro, mysql, mongodb, mssql, postgresql)
   • 생성 일시: 테이블을 처음 생성한 일시
   • 업데이트 일시: 가장 최근에 테이블 정보를 변경한 일시
   • [스키마] 탭: 클릭하여 테이블에 등록된 스키마 확인
     • 데이터 유형에 대한 자세한 내용은 스키마 데이터 유형을 참조해 주십시오.
     • 수정 버튼을 클릭하여 스키마를 수정할 수 있습니다. view table이나, Apache Iceberg 테이블은 스키마를 수정할 수 없습니다
   • [스키마 버전] 탭: 클릭하여 스키마 버전 목록 확인, 버전을 클릭하여 해당 버전의 스키마 확인
   • [파티션] 탭: 클릭하여 테이블에 등록된 파티션 키와 값을 확인
     • 파티션 갱신 기능
       • 데이터 형식이 csv, xml, json, parquet, avro, orc 인 테이블에 대해서 파티션 값 갱신 기능을 제공합니다.
       • Hive 파티션 타입만 갱신이 가능하며 Directory 파티션 타입은 갱신이 되지 않으며 '전체 동기화', '삭제만 동기화'를 진행할경우 파티션 값이 삭제될 수 있습니다.
       • 파티션 값만 갱신되며, 파티션 키는 추가되지 않습니다. 파티션 키 추가를 원하는 경우 테이블을 다시 스캔해야합니다
       • 옵션 : 전체 동기화(추가/삭제된 파티션 값 모두 갱신), 추가만 동기화 (추가된 파티션 값만 갱신), 삭제만 동기화 (삭제된 파티션 값만 갱신)
   • [태그] 탭: 클릭하여 테이블에 등록된 태그 확인
     • 설정 버튼을 클릭하여 태그를 추가/삭제 할 수 있습니다
   • [속성 정보] 탭: 클릭하여 테이블 및 소스 데이터의 속성 정보 확인
     • 속성 키에 대한 자세한 내용은 속성 정보를 참조해 주십시오.
   • [통계] 탭 : 클릭하여 필드/파티션 단위의 통계 정보를 확인
     • Data Catalog 서비스 구독시 통계 기능을 수행하고 조회할 수 있으며, 필드단위 최솟값, 최대값, 평균등 통계 데이터를 추출합니다.
     • 지원하는 데이터 타입 : parquet, avro, orc, csv, json
     • 조회되는 데이터는 마지막으로 성공으로 수행된 정보가 표기됩니다.
     • 전체 통계 추출 실행 후 일부컬럼만 통계 추출을 실행하면, 일부컬럼은 업데이트 되지만 나머지 컬럼은 기존에 수행된 내역으로 남아 있습니다.
       주의

       • 고유값은 평균 5%의 오차 범위 내에서 데이터의 대략적인 수를 추정합니다
       • CSV 파일은 null 개수, true/false 개수를 추정할 수 없습니다.
   • [최적화] 탭 : Iceberg 파일 최적화 기능 수행 (Iceberg 테이블 형식만 노출됨)
     • 파일 병합 : 여러 파일로 나누어져있는 데이터 파일을 병합하여 파일관리 효율성을 높이고 성능을 높여주는 기능. 병합기준 보다 크기가 작은 파일들만 병합 기준에 선정됩니다 (병합 기준 크기의 기본값은 100MB 이며, 단위는 MB입니다)
       주의

       • 병합 기준의 크기를 너무 크게 잡을 경우 병합 실행시 마다 파일 병합을 진행하므로 파일 변경이 없더라도 스냅샷이 생성됩니다.
       • 병합 기준의 크기를 데이터 파일 크기와 비례하여 적당한 크기로 셋팅하는 것을 권장합니다.
     • 스냅샷 관리 : 사용하지 않아도 되는 스냅샷을 삭제합니다. 최대 보존 기간 내 스냅샷은 유지되며 보존기간이 지난 스냅샷들은 삭제합니다. (최대 보존 기간의 최소값은 7일 입니다)
     • 고아파일 정리 : 파일 병합, 잘못 쓰여진 파일등 사용하지 않는 파일들을 정리합니다. 최대 보존 기간 내 고아파일들은 유지되며 보존기간이 지난 고아파일 들은 삭제합니다. (최대 보존 기간의 최소값은 7일 입니다)

속성 정보

테이블 상세 정보 영역에서 [속성 정보] 탭을 클릭하면 테이블 및 소스 데이터의 속성 정보를 확인할 수 있습니다. 정보 항목과 항목별 설명은 다음과 같습니다.

테이블 수정

생성한 테이블의 정보를 수정하거나, 스키마의 버전을 선택하는 방법은 다음과 같습니다.

기본 정보 수정

1. 네이버 클라우드 플랫폼 콘솔의 VPC 환경에서 > Services > Big Data & Analytics > Data Catalog 메뉴를 차례대로 클릭해 주십시오.
2. Table 메뉴를 클릭해 주십시오.
3. 테이블 이름을 클릭하여 테이블 상세 화면으로 이동해 주십시오.
4. 기본 정보 영역의 [수정] 버튼을 클릭해 주십시오.
5. 기본 정보 수정 팝업에서 테이블의 정보를 수정해 주십시오.
   • 소스 데이터의 위치, 테이블 설명, 소스 데이터 포맷을 수정할 수 있습니다.
6. [저장] 버튼을 클릭해 주십시오.

스키마 정보 수정

1. 네이버 클라우드 플랫폼 콘솔의 VPC 환경에서 > Services > Big Data & Analytics > Data Catalog 메뉴를 차례대로 클릭해 주십시오.
2. Table 메뉴를 클릭해 주십시오.
3. 테이블 이름을 클릭하여 테이블 상세 화면으로 이동해 주십시오.
4. 스키마 탭의 [수정] 버튼을 클릭해 주십시오.
5. 스키마 수정 화면이 나타나면, 필드이름, 데이터 유형, 설명을 수정할 수 있으며, JSON 수정 버튼을 통해서 직접 수정할 수 도 있습니다.
   • 스키마 영역의 버전 드롭다운 메뉴를 클릭하면 수정할 스키마 버전을 선택할 수 있습니다.
   • JSON 수정시 아래와 같이 name, type, typeValue, description 항목이 존재해야 합니다.

   [
     {
       "name": "col_name",
       "type": "decimal",
       "typeValue": "(10,2)",
       "description": "catalog decimal"
      }
    ]
   

6. [저장] 버튼을 클릭해 주십시오.

속성 정보 수정

1. 네이버 클라우드 플랫폼 콘솔의 VPC 환경에서 > Services > Big Data & Analytics > Data Catalog 메뉴를 차례대로 클릭해 주십시오.
2. Table 메뉴를 클릭해 주십시오.
3. 테이블 이름을 클릭하여 테이블 상세 화면으로 이동해 주십시오.
4. 속성정보 탭의 [수정] 버튼을 클릭해 주십시오.
5. 테이블에서 사용할 inputFormat, outputFormet, serializationLib 를 수정할 수 있습니다.
   • 데이터 형식에 맞지 않는 라이브러리로 수정할 경우 Data Query, Hive, Spark 등에서 쿼리 수행 할 수 없으니 주의해 주십시오.
6. [저장] 버튼을 클릭해 주십시오.

테이블 삭제

생성한 테이블을 삭제하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼 콘솔의 VPC 환경에서 > Services > Big Data & Analytics > Data Catalog 메뉴를 차례대로 클릭해 주십시오.
2. Table 메뉴를 클릭해 주십시오.
3. 삭제할 테이블 이름을 클릭하여 테이블 상세 화면으로 이동합니다.
4. [삭제] 버튼을 클릭해 주십시오.
5. 알림 팝업 창이 나타나면 주의 사항을 확인한 후 [삭제] 버튼을 클릭해 주십시오.