VPC環境で利用できます。
Cloud Data Streaming Serviceを利用する前に、知っておくと役立ついくつかの概念について説明します。
Apache Kafka
オープンソースの Apache Kafkaは、リアルタイムのストリーミングデータパイプラインやアプリケーションをビルドできるオープンソースプラットフォームです。NAVERクラウドプラットフォームの Cloud Data Streaming Serviceを利用するとわずか数分で Kafkaクラスタを構築でき、別途ソフトウェアをインストールしたりメンテナンスを行う必要がありません。
NAVERクラウドプラットフォームでは、Apache Kafkaクラスタの管理ツールである Kafka-UIを提供します。Apache 2.0ライセンスに基づく Apache Kafkaをインストール・設定し、クラスタの形式で提供します。
Kafka-UI
Kafka-UIは、クラスタやトピックなどの作成や変更、Consumer groupの確認など、Apache Kafkaクラスタの管理機能を提供するオープンソースプラットフォームです。
Cloud Data Streaming Serviceの構成要素
Cloud Data Streaming Serviceクラスタは、1台のマネージャノードと3台以上の Brokerノードで構成され、少なくとも4台のサーバで構成されます。Brokerノードの数は、必要に応じて増やすことができます。
-
マネージャノード
マネージャノードは、Kafka-UIを通じて Apache Kafkaクラスタを管理します。Topicの作成や削除、パーティション追加など、Kafkaの運用管理を容易にします。Public Domainを通じて Kafka-UIにアクセスできます。 -
Brokerノード
Brokerノードは、実際のデータが保存されるサーバです。Brokerノードにアクセスするには、Cloud Data Streaming Serviceクラスタを作成した VPCと同じ VPC内にユーザーの VMが存在する必要があります。 -
Topic
Producerと Consumerが Kafkaを介してやり取りするメッセージを区別するための単位です。 -
Partition
大量のメッセージを迅速に処理できるように、Topicを分割したものを意味します。