Cloud Data Streaming Service 개념
    • PDF

    Cloud Data Streaming Service 개념

    • PDF

    Article Summary

    VPC 환경에서 이용 가능합니다.

    Cloud Data Streaming Service를 이용하기 전에 알아두면 좋을 몇 가지 개념을 설명합니다.

    Apache Kafka

    오픈소스 Apache Kafka는 실시간 스트리밍 데이터 파이프라인 및 애플리케이션을 빌드할 수 있는 오픈소스 플랫폼입니다. 네이버 클라우드 플랫폼의 Cloud Data Streaming Service를 활용하면 몇 분 만에 Kafka 클러스터를 구축할 수 있으며 별도의 소프트웨어를 설치하거나 유지 관리할 필요가 없습니다.
    네이버 클라우드 플랫폼에서는 Apache Kafka 클러스터 관리 도구인 오픈소스 Cluster Manager for Apache Kafka(CMAK)를 제공합니다. Apache 2.0 라이선스인 Apache Kafka를 설치하고 설정하여 클러스터 형태로 제공합니다.

    CMAK

    CMAK(Cluster Manager for Apache Kafka)는 클러스터, 토픽 등을 생성 및 변경하고 Consumer group을 확인하는 등의 Apache Kafka 클러스터 관리 기능을 제공하는 오픈소스 플랫폼입니다.

    Cloud Data Streaming Service 구성 요소

    Cloud Data Streaming Service 클러스터는 1대의 매니저 노드와 3대 이상의 Broker 노드로 구성되며 최소 4대의 서버로 구성됩니다. Broker 노드의 수는 필요한 만큼 늘릴 수 있습니다.

    cdss-1-0

    • 매니저 노드
      매니저 노드는 CMAK를 통해 Apache Kafka 클러스터를 관리합니다. Topic 생성 및 삭제, 파티션 추가 등 Kafka 운영 관리에 편의를 제공합니다. Public Domain을 통해 CMAK에 접속할 수 있습니다.

    • Broker 노드
      Broker 노드는 실제 데이터가 저장되는 서버입니다. Broker 노드에 접근하기 위해서는 Cloud Data Streaming Service 클러스터를 생성한 VPC와 동일한 VPC에 사용자의 VM이 있어야 합니다.

    • Topic
      Producer와 Consumer가 Kafka로 주고 받은 메시지를 구분하기 위한 단위입니다.

    • Partition
      대용량의 메시지를 빠르게 처리할 수 있도록 Topic을 나눈 것을 의미합니다.


    이 문서가 도움이 되었습니까?

    Changing your password will log you out immediately. Use the new password to log back in.
    First name must have atleast 2 characters. Numbers and special characters are not allowed.
    Last name must have atleast 1 characters. Numbers and special characters are not allowed.
    Enter a valid email
    Enter a valid password
    Your profile has been successfully updated.