Table
    • PDF

    Table

    • PDF

    Article Summary

    VPC 환경에서 이용 가능합니다.

    테이블(Table)은 데이터의 상세 정보와 스키마를 가진 메타데이터 정의입니다. 스캐너를 통해 테이블을 생성하거나 사용자가 직접 스키마를 정의하여 테이블을 생성할 수 있습니다. Table 메뉴에서는 테이블을 생성 및 관리하고 수집한 메타데이터를 확인할 수 있습니다.

    Table 화면

    Data Catalog 이용을 위한 Table 메뉴의 기본적인 설명은 다음과 같습니다.
    datacatalog-table_screen_ko

    영역설명
    ① 메뉴명현재 확인 중인 메뉴명, 조회 중인 테이블 수
    ② 기본 기능Table 메뉴 최초 진입 시 표시되는 기능
    • [테이블 생성] 버튼: 클릭하여 테이블 생성(테이블 생성 참조)
    • [상품 더 알아보기] 버튼: 클릭하여 Data Catalog 소개 페이지로 이동
    • [새로 고침] 버튼: 클릭하여 테이블 목록 새로 고침
    ③ 생성 후 기능테이블 생성 후 활성화되는 기능
    ④ 검색창데이터베이스 명, 테이블 명, 위치, 데이터 포맷, 태그로 검색할 수 있으며 순서 정렬가능
    ⑤ 테이블 목록조회 중인 테이블 목록으로, 클릭하여 상세 정보 확인
    ⑥ 정보 탭각 탭을 클릭하여 해당 정보 확인

    테이블 생성

    원하는 방식으로 테이블을 생성할 수 있습니다. 생성 방법은 다음과 같습니다.

    스키마 수동 정의 테이블 생성

    데이터베이스 및 스키마를 직접 설정하여 테이블을 생성할 수 있습니다.

    참고
    • Cloud Hadoop의 메타 스토어로 Data Catalog를 이용하면 테이블 및 테이블의 스키마를 직접 정의하고 관리할 수 있습니다.(지원 예정)
    • 소스/타겟 데이터를 변환 처리하는 ETL 작업 시에도 변환을 위한 스키마를 직접 정의할 수 있습니다.(지원 예정)

    스키마 수동 정의 테이블을 생성하는 방법은 다음과 같습니다.

    1. 네이버 클라우드 플랫폼 콘솔에서 Services > Big Data & Analytics > Data Catalog 메뉴를 차례대로 클릭해 주십시오.
    2. Table 메뉴를 클릭해 주십시오.
    3. [테이블 생성] 버튼을 클릭해 주십시오.
    4. 스키마 수동 정의 테이블 생성을 클릭해 선택한 후 [다음] 버튼을 클릭해 주십시오.
    5. 기본 정보를 입력해 주십시오.
      • 데이터베이스: 드롭다운 메뉴를 클릭하여 테이블을 연결할 데이터베이스를 선택
        • [데이터베이스 생성] 버튼을 클릭하여 데이터베이스를 생성할 수 있습니다.(데이터베이스 생성 참조)
      • 테이블 이름: 테이블 이름 입력
      • 위치: 테이블의 데이터가 존재하는 위치
      • 설명: 테이블 설명 입력
    6. 데이터 포맷을 선택해 주십시오.
      • csv 선택 시, 구분 기호, 데이터 인식 기호, 제거 문자를 선택 또는 입력할 수 있습니다. 또한 제외할 헤더 라인 수를 입력할 수 있습니다.
      • xml 선택 시, Row Tag를 입력할 수 있습니다.
    7. [추가] 버튼을 클릭한 후 스키마 정보를 입력하여 사용자 정의 스키마를 추가해 주십시오.
      • 데이터 유형에 대한 자세한 내용은 스키마 데이터 유형을 참조해 주십시오.
      • 스키마의 체크 박스를 클릭한 후 [삭제] 버튼을 클릭하여 추가한 스키마를 삭제할 수 있습니다.
      • 사용자 정의 스키마를 추가하지 않으면 필드 이름이 'default'인 스키마가 자동으로 추가됩니다.
    8. 파티션 키 입력이 필요한 경우 파티션영역을 클릭한 후 파티션 키를 추가해 주십시오.
      • [추가] 버튼을 클릭한 후, 입력란에 파티션 키 명을 입력하면 파티션 키가 추가됩니다.
      • 파티션 의 체크 박스를 클릭하여 선택한 후 [삭제] 버튼을 클릭해 파티션 키를 삭제할 수 있습니다.
    9. 태그가 필요한 경우, 태그 설정 영역을 클릭한 후 태그를 추가해 주십시오.
      • [추가] 버튼을 클릭한 후, 입력란에 태그 정보를 입력하면 태그가 추가됩니다.
      • 태그의 체크 박스를 클릭하여 선택한 후 [삭제] 버튼을 클릭해 태그를 삭제할 수 있습니다.
      • [태그 템플릿 불러오기] 버튼을 클릭하면 태그 템플릿 불러오기 팝업 창이 나타납니다.
        • 태그 템플릿을 클릭하여 선택한 후 [추가] 버튼을 클릭하면 해당 태그 템플릿의 태그를 추가할 수 있습니다.
        • 태그 템플릿에 대한 자세한 내용은 Tag Template을 참조해 주십시오.
    10. [생성] 버튼을 클릭해 주십시오.

    스키마 데이터 유형

    수동으로 정의할 수 있는 스키마의 데이터 유형과 유형별 설명은 다음과 같습니다.

    데이터 유형설명
    tinyint정수형 데이터(1 Byte)
    smallint정수형 데이터(2 Byte)
    int정수형 데이터(4 Byte)
    bigint정수형 데이터(8 Byte)
    float부동 소수형 데이터(4 Byte)
    double부동 소수형 데이터(8 Byte)
    decimal고정 소수형 데이터
  • 입력란에 길이(1~38 Byte) 입력
  • string문자열 데이터
    char고정 길이 문자형 데이터
  • 입력란에 길이(1~255 Byte) 입력
  • varchar가변 길이 문자형 데이터
  • 입력란에 길이(1~65,535 Byte) 입력
  • booleantrue 또는 false 값을 갖는 데이터
    binarychar 형태의 이진 데이터
    timestamp날짜와 시간 표현 데이터, 타임스탬프
    datetime날짜, 시간 표현 데이터(YYYY-MM-DD HH:MM:SS)
    date날짜 표현 데이터(YYYY-MM-DD)
    array동일한 유형의 데이터의 집합체
  • [상세] 버튼을 클릭한 후 상세 설정 입력
  • map키와 값의 쌍으로 이루어진 데이터
  • [상세] 버튼을 클릭한 후 상세 설정 입력
  • struct다양한 유형의 데이터와 연관 스키마를 포함한 데이터
  • [상세] 버튼을 클릭한 후 상세 설정 입력
  • uniontype여러 구조체 데이터 타입을 저장할 수 있는 타입
  • [상세] 버튼을 클릭한 후 상세 설정 입력
  • 데이터 유형별 상세 설정 입력 예시는 다음과 같습니다.

    • <예시> array 유형의 상세 설정
      ARRAY <
         STRUCT <
            place: STRING,
            start_year: INT
         >
      >
      
    • <예시> map 유형의 상세 설정
      MAP <
         STRING,
         ARRAY<STRING>
      >
      
    • <예시> struct 유형의 상세 설정
      STRUCT <
         place: STRING,
         start_year: INT
      >
      
    • <예시> uniontype 유형의 상세 설정
      UNIONTYPE <
         INT,
         DOUBLE,
         ARRAY<STRING>,
         STRUCT<a:INT,b:STRING>
      >
      

    스캐너를 통한 테이블 생성

    스캐너를 통해 스키마를 자동으로 정의하여 테이블 생성하는 방법은 다음과 같습니다.

    1. 네이버 클라우드 플랫폼 콘솔에서 Services > Big Data & Analytics > Data Catalog 메뉴를 차례대로 클릭해 주십시오.
    2. Table 메뉴를 클릭해 주십시오.
    3. [테이블 생성] 버튼을 클릭해 주십시오.
    4. 스캐너를 통한 테이블 생성을 클릭해 선택한 후 [다음] 버튼을 클릭해 주십시오.
      • 스캐너 생성 화면으로 이동합니다.
    5. 스캐너를 생성하고 실행하면 자동으로 테이블이 생성됩니다.
      • 테이블 이름은 소스 데이터의 이름을 바탕으로 자동 설정됩니다.
      • 스캐너 생성 및 실행에 대한 자세한 내용은 Scanner를 참조해 주십시오.

    테이블 검색 및 정보 확인

    생성한 테이블을 검색하고 정보를 확인하는 방법은 다음과 같습니다.

    1. 네이버 클라우드 플랫폼 콘솔에서 Services > Big Data & Analytics > Data Catalog 메뉴를 차례대로 클릭해 주십시오.
    2. Table 메뉴를 클릭해 주십시오.
    3. 원하는 검색 조건을 입력한 후 i-datacatalog-search을 클릭하여 테이블을 검색해 주십시오.
    4. 테이블을 클릭하여 정보를 확인해 주십시오.
      • 데이터베이스: 테이블이 속한 데이터베이스 이름
      • 테이블: 테이블 이름
      • 위치: 테이블의 데이터가 존재하는 위치
      • 데이터 포맷: 스캔한 데이터의 형식
      • 생성 일시: 테이블을 처음 생성한 일시
      • 업데이트 일시: 가장 최근에 테이블 정보를 변경한 일시
      • [스키마] 탭: 클릭하여 테이블에 등록된 스키마 확인
      • [파티션] 탭: 클릭하여 테이블에 등록된 파티션 확인
      • [스키마 버전] 탭: 클릭하여 스키마 버전 목록 확인, 버전을 클릭하여 해당 버전의 스키마 확인
      • [태그] 탭: 클릭하여 테이블에 등록된 태그 확인
      • [속성 정보] 탭: 클릭하여 테이블 및 소스 데이터의 속성 정보 확인
        • 속성 키에 대한 자세한 내용은 속성 정보를 참조해 주십시오.

    속성 정보

    테이블 상세 정보 영역에서 [속성 정보] 탭을 클릭하면 테이블 및 소스 데이터의 속성 정보를 확인할 수 있습니다. 정보 항목과 항목별 설명은 다음과 같습니다.

    속성 키설명
    EXTERNAL외부 저장
    clusterNo스캔된 Cloud Data Base 상품의 클러스터 번호
    connectionId테이블을 생성한 스캐너의 커넥션 ID
    connectionName데이터 스캔을 위해 이용한 커넥션 이름
    created_time테이블 생성 일시의 유닉스 시간 표기
    dataFormat데이터 소스의 형식
    dataType데이터 소스의 유형
    delimiter소스 데이터가 CSV 파일인 경우 구분 기호
    inputFormatFile을 Object로 읽기 위한 Format 형식
    isDirectory스캔 대상이 디렉터리인 경우 TRUE 표시
    last_modified_time테이블 업데이트 일시의 유닉스 시간 표기
    numFiles스캔 대상이 디렉터리인 경우 스캔한 총 파일 수
    objectstorageContentLength스캔된 Object Storage Content 디렉토리 내 파일들의 ContentLength 합
    objectstorageContentType스캔된 Object Storage 디렉토리의 공통된 ContentType
    objectstorageLastModified스캔된 Object Storage 디렉토리 내 가장 최근 수정 파일의 수정시간
    outputFormatObject를 File로 쓰기 위한 Format 형식
    rowTag행을 정의하는 XML 태그
    scannerId테이블을 생성한 스캐너 ID
    scannerName테이블을 생성한 스캐너 이름
    serializationLibSerializer and Deserializer Library
    serde.separatorChar데이터의 스키마를 결정하기 위한 구분 기호
    serde.quoteChar문자열을 데이터로 인식할 기호
    serde.escapeChar데이터로 인식된 문자열 값 안에 포함된 문자를 제거하기 위한 문자
    skip.header.line.count제외할 헤더 라인 수
    totalSize스캔 대상이 디렉터리인 경우 스캔한 총 데이터 용량
    transient_lastDdlTime테이블 DDL 마지막 변경 일시의 유닉스 시간 표기
    mysqlCollationMySQL 테이블의 문자열 정렬 설정
    mysqlDataSizeMySQL 테이블의 데이터 크기
    mysqlIndexSizeMySQL 테이블의 인덱스 크기
    mysqlIndexesMySQL 테이블의 인덱스 수
    mysqlRowsMySQL 테이블의 저장된 행(레코드) 수
    mysqlTableSizeMySQL 테이블의 총 크기
    mssqlCollationMSSQL 테이블의 문자열 정렬 설정
    mssqlDataSizeMSSQL 테이블의 데이터 크기
    mssqlIndexSizeMSSQL 테이블의 인덱스 크기
    mssqlIndexesMSSQL 테이블의 인덱스 수
    mssqlRowsMSSQL 테이블의 저장된 행(레코드) 수
    mssqlTableSizeMSSQL 테이블의 총 크기
    postgresqlCollationPostgreSQL 테이블의 문자열 정렬 설정
    postgresqlDataSizePostgreSQL 테이블의 데이터 크기
    postgresqlIndexSizePostgreSQL 테이블의 인덱스 크기
    postgresqlIndexesPostgreSQL 테이블의 인덱스 수
    postgresqlRowsPostgreSQL 테이블의 저장된 행(레코드) 수
    postgresqlTableSizePostgreSQL 테이블의 총 크기
    mongodbAvgObjSizeMongoDB 컬렉션의 평균 문서 크기
    mongodbFreeStorageSizeMongoDB 데이터베이스에서 사용 가능한 여유 저장 공간 크기
    mongodbIndexSizeMongoDB 컬렉션의 인덱스 크기
    mongodbIndexesMongoDB 컬렉션에 있는 인덱스의 수
    mongodbRowCountMongoDB 컬렉션에 저장된 문서(레코드)의 수
    mongodbSizeMongoDB 데이터베이스의 크기
    mongodbStorageSizeMongoDB 데이터베이스의 저장소 크기
    mongodbTotalSizeMongoDB 데이터베이스의 총 크기

    테이블 수정

    생성한 테이블의 정보를 수정하거나, 스키마의 버전을 선택하는 방법은 다음과 같습니다.

    참고

    테이블 이름과 테이블이 속한 데이터베이스는 수정할 수 없습니다.

    1. 네이버 클라우드 플랫폼 콘솔에서 Services > Big Data & Analytics > Data Catalog 메뉴를 차례대로 클릭해 주십시오.
    2. Table 메뉴를 클릭해 주십시오.
    3. 수정할 테이블을 클릭하여 선택한 후 [수정] 버튼을 클릭해 주십시오.
    4. 테이블 수정 화면에서 테이블의 정보를 수정해 주십시오.
      • 소스 데이터의 위치, 테이블 설명, 소스 데이터 포맷, 스키마, 태그를 수정할 수 있습니다.
      • 스키마 영역의 버전 드롭다운 메뉴를 클릭하면 수정할 스키마 버전을 선택할 수 있습니다.
      • 각 정보 항목에 대한 자세한 내용은 테이블 생성을 참조해 주십시오.
    5. [저장] 버튼을 클릭해 주십시오.

    테이블 삭제

    생성한 테이블을 삭제하는 방법은 다음과 같습니다.

    주의
    • 삭제를 누르시면 테이블의 버전 정보, 태그, 프로퍼티 등 관련된 모든 메타 정보가 삭제됩니다.
    • 속성 정보에 EXTERNAL=true 값이 없는 경우(Managed table인 경우) Object Storage의 실제 데이터가 삭제될 수 있습니다.
    • 삭제한 테이블 및 데이터는 복구할 수 없습니다.
    1. 네이버 클라우드 플랫폼 콘솔에서 Services > Big Data & Analytics > Data Catalog 메뉴를 차례대로 클릭해 주십시오.
    2. Table 메뉴를 클릭해 주십시오.
    3. 삭제할 테이블을 클릭하여 선택한 후 [삭제] 버튼을 클릭해 주십시오.
    4. 알림 팝업 창이 나타나면 주의 사항을 확인한 후 [삭제] 버튼을 클릭해 주십시오.

    이 문서가 도움이 되었습니까?

    What's Next
    Changing your password will log you out immediately. Use the new password to log back in.
    First name must have atleast 2 characters. Numbers and special characters are not allowed.
    Last name must have atleast 1 characters. Numbers and special characters are not allowed.
    Enter a valid email
    Enter a valid password
    Your profile has been successfully updated.