VPC環境で利用できます。
Cloud Data Streaming Serviceを利用する前に、知っておくと役立ついくつかの概念を説明します。
Apache Kafka
オープンソースApache Kafkaは、リアルタイムストリーミングデータパイプラインとアプリケーションをビルドできるオープンソースプラットフォームです。NAVERクラウドプラットフォームのCloud Data Streaming Serviceを活用すると、ほんの数分でKafkaクラスタを構築でき、ソフトウェアを別途インストールしたり、メンテナンスを行う必要がありません。
NAVERクラウドプラットフォームでは、Apache Kafkaクラスタの管理ツールのオープンソースCluster Manager for Apache Kafka(CMAK)を提供します。Apache 2.0ライセンスのApache Kafkaをインストールして設定し、クラスタの形で提供します。
Kafka Connect
Kafka Connectは、データベース、キーバリューストア、ファイルシステムなどの外部システムをKafkaと連携する構成要素で、Apache Kafkaで提供するオープンソースです。Kafka Connectを利用すると様々な製品をシステムと手軽に連携できるため、簡単にデータパイプラインを構築できます。
CMAK
CMAK(Cluster Manager for Apache Kafka)は、クラスタやトピックなどの作成と変更、Consumer groupの確認など、Apache Kafkaクラスタ管理機能を提供するオープンソースプラットフォームです。
Cloud Data Streaming Serviceの構成要素
Cloud Data Streaming Serviceクラスタは、1台のマネージャーノードと3台以上のBrokerノードで構成され、最小4台のサーバで構成されます。Brokerノードの数は、必要な分だけ増やすことができます。
-
マネージャーノード
マネージャーノードはCMAKでApache Kafkaクラスタを管理します。Topicの作成と削除、パーティションの追加など、Kafka運用管理に便宜を提供します。Public DomainでCMAKにアクセスできます。 -
Brokerノード
Brokerノードは実際にデータが保存されるサーバです。Brokerノードにアクセスするには、Cloud Data Streaming Serviceクラスタを作成したVPCと同じVPCにユーザーのVMが位置している必要があります。 -
Topic
ProducerとConsumerがKafkaでやり取りしたメッセージを区分するための単位です。 -
Partition
大容量のメッセージを速やかに処理するようにTopicを分けたことを意味します。