커넥터

VPC 환경에서 이용 가능합니다.

Topic 메뉴에서 연동 커넥터를 생성하고 확인, 수정, 삭제하는 방법을 설명합니다. 토픽 커넥터를 통해 외부 시스템과 연동하여 토픽에 저장된 데이터를 외부 시스템으로 전송하거나 가져올 수 있습니다. 커넥터는 컨슈머가 토픽에서 일정 주기에 따라 데이터를 조회하여 가져가는 폴링(polling) 방식으로 동작하기 때문에 푸시(Push) 방식 대비 안정적인 데이터 처리가 가능합니다.

커넥터 설정

커넥터를 설정하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼 콘솔의 VPC 환경에서 > Services > Big Data & Analytics > Data Stream 메뉴를 차례대로 클릭해 주십시오.
2. Topic 메뉴를 클릭해 주십시오.
3. 토픽 목록에서 서비스 상세 보기를 클릭해 주십시오.
4. 토픽 상세 화면에서 [커넥터] 탭 메뉴를 클릭해 주십시오.
5. [커넥터 설정] 버튼을 클릭해 주십시오.
6. 커넥터 설정 팝업 창이 나타나면 기본 정보를 입력하고 상세 옵션을 설정해 주십시오.
   • 기본 정보
     • 이름: 자동 입력되며 사용자 수정 불가능
     • 설명: 커넥터에 대한 설명을 0~500 Byte 이내로 입력
   • 상세 설정
     • 컨슈머 사양: 커넥터 처리 성능에 대한 지원 사양 선택
       • Small: 컨테이너 1대 기준, 파티션당 초당 최대 250Kbyte 처리량 지원
       • Medium: 컨테이너 2대 기준, 파티션당 초당 최대 500Kbytes 처리량 지원
     • 대상 상품: 데이터를 저장할 네이버 클라우드 플랫폼의 서비스를 클릭하여 선택
     • 저장 경로: 데이터를 저장할 Object Storage 버킷을 [설정] 버튼을 클릭하여 선택 후 [저장] 버튼 클릭
       • 하위 디렉터리로 이동하려면 버킷 이름에서 더블 클릭
       • 경로에 토픽 이름 사용: Object Storage 저장 경로에 토픽 이름 디렉터리 생성 여부 클릭하여 선택
     • 날짜 포맷 사용: Object Storage 하위 저장 경로에 날짜 포맷 디렉터리 사용 여부 클릭하여 선택
       • NONE: 날짜 포맷 사용 안 함
       • year={yyyy}/: 연도 형식 디렉터리 포함
       • year={yyyy}/month={MM}/: 연도/월 형식 디렉터리 포함
       • year={yyyy}/month={MM}/day={dd}/: 연도/월/일 형식 디렉터리 포함
       • year={yyyy}/month={MM}/day={dd}/hour={HH}/: 연도/월/일/시 형식 디렉터리 포함
   • 옵션
     • Flush: 커넥터에서 데이터 처리 정책에 대한 설정
       • 아래 조건 중 먼저 도달하는 조건에 맞춰 데이터를 처리 합니다. 데이터 사이즈(MB)에 따라 내부적으로 처리시간이 다를 수 있습니다.
       • Interval: 시간 기준 데이터 처리 조건 (기본 값: 10분 마다, 최소: 1분/최대: 10분)
       • Count: row 수 데이터 처리 조건 (기본 값: 5,000 row 마다, 최소: 5,000/ 최대: 50,000)
     • 스키마 포맷
       • 토픽의 메시지 Key 또는 Value 데이터를 읽을 때, 사용하는 Deserializer 클래스를 선택합니다.
       • STRING 외에 클래스 (AVRO, JSON, PROTOBUF) 는 스키마 연동이 필요합니다.
         • 스키마에 맞지 않는 데이터는 정상적으로 처리되지 않습니다.
         • 스키마 포맷에 따라 결과 파일은 다음과 같이 생성됩니다.
           • STRING 클래스 : .json 확장자
           • AVRO,JSON, PROTOBUF 클래스 : .parquet 확장자
   • 역할명: 커넥터가 데이터 접근 시 사용할 서비스 역할을 드롭다운 메뉴에서 클릭하여 선택
     • [신규 생성] 버튼: 클릭 시 Sub Account > Roles 메뉴에서 신규 생성 가능
     • 역할 생성에 대한 사용 방법은 Sub Account 사용 가이드 참조
7. [저장] 버튼을 클릭해 주십시오.
   • 화면에 설정된 커넥터 정보가 표시됩니다.
     • 최근 실행 상태: 커넥터의 최근 실행 상태
       • 활성: 커넥터가 정상적으로 실행 중
     • 생성 일시: 커넥터가 생성된 일시(YYYY-MM-DD HH:mm:ss (UTC+09:00 형식))

커넥터 정보 확인

커넥터 정보를 확인하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼 콘솔의 VPC 환경에서 > Services > Big Data & Analytics > Data Stream 메뉴를 차례대로 클릭해 주십시오.
2. Topic 메뉴를 클릭해 주십시오.
3. 토픽 목록에서 커넥터 정보를 확인할 토픽의 서비스 상세 보기를 클릭해 주십시오.
4. 토픽 상세 화면에서 [커넥터] 탭 메뉴를 클릭해 주십시오.
5. 화면이 나타나면 커넥터 정보를 확인해 주십시오.
   • 커넥터 정보에 대한 자세한 내용은 커넥터 설정 참고

커넥터 수정

커넥터를 수정하는 방법은 다음과 같습니다.

커넥터 수정

커넥터를 수정하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼 콘솔의 VPC 환경에서 > Services > Big Data & Analytics > Data Stream 메뉴를 차례대로 클릭해 주십시오.
2. Topic 메뉴를 클릭해 주십시오.
3. 토픽 목록에서 커넥터를 수정할 토픽의 서비스 상세 보기를 클릭해 주십시오.
4. 토픽 상세 화면에서 [커넥터] 탭 메뉴를 클릭해 주십시오.
5. 화면이 나타나면 필요한 정보를 수정해 주십시오.
   • 커넥터 정보에 대한 자세한 내용은 커넥터 설정 참고

커넥터 삭제

커넥터를 삭제하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼 콘솔의 VPC 환경에서 > Services > Big Data & Analytics > Data Stream 메뉴를 차례대로 클릭해 주십시오.
2. Topic 메뉴를 클릭해 주십시오.
3. 토픽 목록에서 서비스 상세 보기를 클릭해 주십시오.
4. 토픽 상세 화면에서 커넥터 탭을 클릭해 주십시오.
5. [삭제] 버튼을 클릭해 주십시오.
6. 삭제 알림 팝업 창에서 내용을 확인한 후 [삭제] 버튼을 클릭해 주십시오.
   • 화면에서 삭제한 커넥터 정보가 사라집니다.