Data Stream の用語

VPC環境で利用できます。

Data Streamサービスを使用するために、必ず知っておくべきいくつかの用語があります。用語とその説明は、次の通りです。

プロデューサが送信するメッセージの実際のデータで、JSON、XML、テキストなど様々な形式で保存可能

プロデューサが送信したメッセージオフセットとコンシューマが消費したオフセットとの差

システム間でやり取りするデータの基本単位。通常 Key(キー)、Value(値)、Offset(オフセット)、タイムスタンプ、ヘッダなどで構成

Kafkaクラスタを構成するサーバ。プロデューサが送信したメッセージを保存し、コンシューマがリクエストしたメッセージを提供

パーティション内のメッセージが保存されている場所を示す固有 ID。各パーティション内でメッセージは順番に保存され、オフセットは0から始まり増加

データベース、キー-バリューストア、ファイルシステムなどのシステムを Kafkaに接続する構成要素

トピックに保存されたメッセージを読み取って処理するクライアントアプリケーション

複数のコンシューマが1つのグループとしてまとめられ、メッセージを並列に処理する単位。各コンシューマは、異なるパーティションからメッセージを読み取って処理することで負荷を分散

複数のブローカーが集まって構成された集合体。データの分散保存と負荷分散のために使用

メッセージの固有 ID。メッセージを区別するために使用され、同じキーを持つメッセージは同じパーティションに保存される

メッセージの作成時点や処理時点を記録するために使用される時間情報

メッセージを保存する単位。メッセージのカテゴリまたはフィードを表し、プロデューサがメッセージを投稿してコンシューマがメッセージを購読する単位

トピックを分ける単位。複数のパーティションに分かれているトピックは、分散保存と並列処理が可能

トピックにメッセージを作成し、ブローカーに送信するクライアントアプリケーション

メッセージのプロパティや処理情報など、追加のメタデータを格納するフィールド

参考

その他の用語を確認するには、NAVERクラウドプラットフォームポータルの用語辞典をご参照ください。