Data Flow 개념

VPC 환경에서 이용 가능합니다.

Data Flow를 이용하는 전체 시나리오를 학습하기에 앞서 Data Flow에 대한 개념과 사용 예시를 설명합니다.

작업과 데이터 파이프라인

Data Flow로 구성할 수 있는 데이터 파이프라인은 다음 구성도와 같습니다.

• 데이터 파이프라인은 데이터 소스(소스 노드), 데이터 수집/변환(변환 노드), 데이터 저장소(타깃 노드)로 구성됩니다.
• 작업(ETL Job)은 데이터 소스에서 데이터를 추출하여 변환한 후 타깃 노드에 저장합니다.
• 워크플로(Workflow)는 여러 개의 작업을 순차적으로 연결하고, 작업 스케줄을 예약하고 이벤트를 처리합니다.
• 트리거(Trigger)는 작업의 스케줄을 정의한 파일입니다.
• 여러 개의 작업과 여러 개의 워크플로를 생성할 수 있으며 Data Flow 대시보드에서 실행 현황을 모니터링할 수 있습니다.
• 네이버 클라우드 플랫폼의 Object Storage, Data Catalog를 소스 노드와 타깃 노드로 사용할 수 있습니다.
• 작업의 실행 스크립트와 작업 이력이 Object Storage에 저장됩니다.
• Data Catalog 테이블에서 읽어 온 데이터 상세 정보와 스키마를 활용할 수 있습니다.
• Object Storage 버킷에 올린 데이터를 일괄 변환하고 저장할 수 있습니다.

적용 예시

Data Flow 사용 시나리오는 다양하게 구성할 수 있습니다. 이 가이드에서 제공하는 사용 시나리오 예시는 Data Flow에 대한 이해를 돕기 위한 것입니다.

열 병합 사용 시나리오

두 개의 json 파일을 불러와서 열 병합한 후 csv 파일로 저장합니다.

1. Object Storage에서 각 json 파일을 담을 서로 다른 버킷 2개와 타깃 데이터를 담을 버킷 1개 생성
2. 버킷 2개에 각 json 파일 업로드
3. Data Flow에서 두 데이터의 열 병합 변환 작업(Job) 생성
   1. 소스 노드 2개를 생성하여 두 json 파일 지정
   2. 열 병합 변환 설정
   3. 타깃 노드에 버킷 설정 및 데이터 형식으로 csv 설정
4. 작업과 트리거(Trigger)를 설정하여 실행 워크플로(Workflow) 생성
5. 트리거에 따라 워크플로가 실행되면 Object Storage의 버킷에서 저장된 csv 파일 확인

속성 정의 사용 시나리오

데이터 테이블을 불러와서 타깃 노드의 스키마를 정의합니다.

1. Data Catalog에서 데이터 테이블 생성
2. Object Storage에서 타깃 데이터를 담을 버킷 1개 생성
3. Data Flow에서 해당 테이블의 속성 정의 변환 작업(Job) 생성
   1. 소스 노드로 테이블과 스키마 버전 설정
   2. 속성 정의 변환 설정 및 소스와 타깃 노드 간 스키마 매핑
   3. 타깃 노드에 버킷 설정 및 데이터 형식 설정
4. 작업과 트리거(Trigger)를 설정하여 실행 워크플로(Workflow) 생성
5. 트리거에 따라 워크플로가 실행되면 Object Storage의 버킷에서 저장된 스키마 파일 확인