Cloud Data Streaming Serviceとは

VPC環境で利用できます。

Cloud Data Streaming Serviceを利用する前に、知っておくと役立ついくつかの概念を説明します。

Apache Kafka

オープンソースApache Kafkaは、リアルタイムストリーミングデータパイプラインとアプリケーションをビルドできるオープンソースプラットフォームです。NAVERクラウドプラットフォームのCloud Data Streaming Serviceを活用すると、ほんの数分でKafkaクラスタを構築でき、ソフトウェアを別途インストールしたり、メンテナンスを行う必要がありません。
NAVERクラウドプラットフォームでは、Apache Kafkaクラスタの管理ツールのオープンソースCluster Manager for Apache Kafka(CMAK)を提供します。Apache 2.0ライセンスのApache Kafkaをインストールして設定し、クラスタの形で提供します。

Kafka Connect

Kafka Connectは、データベース、キーバリューストア、ファイルシステムなどの外部システムをKafkaと連携する構成要素で、Apache Kafkaで提供するオープンソースです。Kafka Connectを利用すると様々な製品をシステムと手軽に連携できるため、簡単にデータパイプラインを構築できます。

CMAK

CMAK(Cluster Manager for Apache Kafka)は、クラスタやトピックなどの作成と変更、Consumer groupの確認など、Apache Kafkaクラスタ管理機能を提供するオープンソースプラットフォームです。

Cloud Data Streaming Serviceの構成要素

Cloud Data Streaming Serviceクラスタは、1台のマネージャーノードと3台以上のBrokerノードで構成され、最小4台のサーバで構成されます。Brokerノードの数は、必要な分だけ増やすことができます。

• マネージャーノード
  マネージャーノードはCMAKでApache Kafkaクラスタを管理します。Topicの作成と削除、パーティションの追加など、Kafka運用管理に便宜を提供します。Public DomainでCMAKにアクセスできます。

• Brokerノード
  Brokerノードは実際にデータが保存されるサーバです。Brokerノードにアクセスするには、Cloud Data Streaming Serviceクラスタを作成したVPCと同じVPCにユーザーのVMが位置している必要があります。

• Topic
  ProducerとConsumerがKafkaでやり取りしたメッセージを区分するための単位です。

• Partition
  大容量のメッセージを速やかに処理するようにTopicを分けたことを意味します。