Data Flow 시나리오

VPC 환경에서 이용 가능합니다.

네이버 클라우드 플랫폼의 Data Flow에서 데이터 파이프라인을 간편하게 구성하고 스케줄링할 수 있습니다. 사용 방법은 Data Flow 시작과 Data Flow 사용에서 자세하게 확인할 수 있지만 우선 Data Flow를 사용하는 전체 시나리오를 살펴보는 것을 권장합니다. 사용 시나리오를 학습한 후 사용 방법을 확인하면 좀 더 원활하게 Data Flow를 활용할 수 있습니다. Data Flow를 사용하는 전체 순서와 각 순서별 설명은 다음과 같습니다.

1. 사용 권한 설정
2. 사전 환경 설정
3. Data Flow 이용 신청
4. 작업 생성
5. 트리거 생성
6. 워크플로 생성
7. 작업 모니터링

1. 사용 권한 설정

Data Flow를 여러 사용자가 관리하고 공유할 필요가 있는 경우 사용자별 권한을 설정하여 운영할 수 있습니다. 사용자별 권한은 네이버 클라우드 플랫폼의 Sub Account를 통해 관리자 권한과 사용자 권한으로 구성할 수 있으며, 각 권한별로 역할을 정의할 수 있습니다. 사용 권한 설정은 필수 설정 사항은 아니기 때문에 Data Flow 이용 중 권한이 필요한 상황에 언제든지 설정하거나 설정을 해제할 수 있습니다.

참고할 수 있는 사용 가이드는 다음과 같습니다.

• Data Flow 권한 관리
• Sub Account 사용 가이드

2. 사전 환경 설정

Data Flow를 사용하려면 데이터 소스와 연동이 필요합니다. 소스 데이터를 추출하거나 변환된 데이터를 저장하기 위한 용도로 사용합니다.
Data Flow는 네이버 클라우드 플랫폼 서비스 중에서 Data Catalog 및 Object Storage와의 연동을 지원하며, 이 두 서비스를 소스 데이터 노드와 타깃 데이터 노드로 사용합니다.
따라서 Data Flow를 사용하기 전에 Data Catalog와 Object Storage에 대한 이용 신청을 진행해야 합니다.

사전에 Data Catalog 이용 신청이 되어 있지 않을 경우, Data Flow 이용 신청 시에 Data Catalog 이용을 먼저 신청하도록 안내됩니다. Data Catalog 이용 신청에 참고할 수 있는 사용 가이드는 다음과 같습니다.

• Data Catalog 시작

사전에 Object Storage 이용 신청이 되어 있지 않을 경우, Data Catalog 이용 신청 시에 Object Storage 이용을 먼저 신청하도록 안내됩니다. Object Storage 이용 신청에 참고할 수 있는 사용 가이드는 다음과 같습니다.

• Object Storage 시작

3. Data Flow 이용 신청

Data Flow 이용을 신청해 주십시오. 참고할 수 있는 사용 가이드는 다음과 같습니다.

• 이용 신청 및 해지

4. 작업 생성

데이터 처리 워크플로의 구성 요소인 작업(job)을 생성해 주십시오. 작업은 어디로부터 소스 데이터를 불러와서 어떤 변환 작업을 한 후에 어디에 저장할지 정의하는 파일입니다. 참고할 수 있는 사용 가이드는 다음과 같습니다.

• Job

5. 트리거 생성

데이터 처리 워크플로의 구성 요소인 트리거(trigger)를 생성해 주십시오. 트리거는 작업 스케줄을 예약하는 파일입니다. 참고할 수 있는 사용 가이드는 다음과 같습니다.

• Trigger

6. 워크플로 생성

데이터 처리 워크플로를 구성해 주십시오. 앞서 생성한 작업과 트리거를 활용하여 데이터 파이프라인을 구성하는 단계입니다. 참고할 수 있는 사용 가이드는 다음과 같습니다.

• Workflow

7. 작업 모니터링

위의 과정을 통해 생성한 워크플로 또는 작업을 실행하면 실행 이력이 남습니다. 작업 성공률, 작업 소요시간, 작업량(수)에 대한 통계 데이터를 조회하려면 Data Flow의 Dashboard를 활용해 주십시오. 참고할 수 있는 사용 가이드는 다음과 같습니다.

• Dashboard