Data Stream 용어

VPC 환경에서 이용 가능합니다.

Data Stream 서비스를 사용하기 위해 반드시 알아두어야 할 몇 가지 용어가 있습니다. 용어와 용어에 대한 설명은 다음과 같습니다.

값·Value

프로듀서가 전송하는 메시지의 실제 데이터로, JSON, XML, 텍스트 등 다양한 형식으로 저장 가능

랙·Lag

프로듀서가 전송한 메시지 오프셋과 컨슈머가 소비한 오프셋 간 차이

메시지·Message

시스템 간 전달하는 데이터의 기본 단위. 일반적으로 Key(키), Value(값), Offset(오프셋), 타임스탬프, 헤더 등으로 구성

브로커·Broker

Kafka 클러스터를 구성하는 서버. 프로듀서가 보낸 메시지를 저장하고, 컨슈머가 요청한 메시지를 제공

오프셋·Offset

파티션에서 메시지가 저장된 위치를 나타내는 고유한 식별자. 각 파티션 내에서 메시지는 순서대로 저장되며, 오프셋은 0부터 시작하여 증가

카프카 커넥트·Kafka Connect

데이터베이스, 키-밸류 스토어, 파일 시스템과 같은 시스템을 Kafka에 연결해 주는 구성 요소

컨슈머·Consumer

토픽에 저장된 메시지를 읽고 처리하는 클라이언트 애플리케이션

컨슈머 그룹·Consumer Group

여러 개의 컨슈머가 하나의 그룹으로 묶여서 메시지를 병렬로 처리하는 단위. 각 컨슈머는 서로 다른 파티션에서 메시지를 읽어 처리함으로써 부하를 분산

클러스터·Cluster

여러 개의 브로커가 모여서 구성된 집합체. 데이터의 분산 저장과 부하 분산을 위해 사용

키·Key

메시지의 고유 식별자. 메시지를 구분하는 데 사용되며, 같은 키를 가진 메시지는 같은 파티션에 저장됨

타임스탬프·Timestamp

메시지의 생성 시점이나 처리 시점을 기록하는 데 사용되는 시간 정보

토픽·Topic

메시지를 저장하는 단위. 메시지의 카테고리 또는 피드를 나타내며, 프로듀서가 메시지를 게시하고 컨슈머가 메시지를 구독하는 단위

파티션·Partition

토픽을 나누는 단위. 여러 개의 파티션으로 나누어져 있는 토픽은 분산 저장 및 병렬 처리가 가능

프로듀서·Producer

토픽에 메시지를 생성하고, 브로커에 전송하는 클라이언트 애플리케이션

헤더·Header

메시지에 대한 속성이나 처리 정보 등 추가적인 메타데이터를 담는 필드