Cluster の作成と管理

VPC環境で利用できます。

Cluster画面

Clusterメニューの基本的な説明は、次の通りです。

クラスタ作成

1. NAVERクラウドプラットフォームコンソールの VPC環境で、Menu > Services > Big Data & Analytics > Cloud Data Streaming Serviceメニューを順にクリックします。
2. Cloud Data Streaming Serviceメニューで [Cluster作成] ボタンをクリックします。
3. クラスタの設定情報を入力し、 [次へ] ボタンをクリックします。
   
   • クラスタ名: クラスタの名前を入力
   • Applicationバージョン: Kafkaバージョン、CMAKバージョンを選択
   • ACG設定: 「cdss-クラスタコード」で ACGを自動作成
   • Config Groupの設定: Clusterに適用する Config Groupを選択。Config Groupの作成方法は、Config Groupの作成と管理を参照
   • Kafkaログの収集: Kafkaログ収集の案内文。Kafkaログは Cloud Log Analyticsで確認可能
   • Kafka Broker Port: Brokerとの通信のためのポート。9092で自動設定され、変更不可
   • Kafka Broker TLS Port: Brokerとの通信を暗号化できるポート。9093で自動設定され、変更不可
   • Zookeeper Port: Zookeeper Clientと通信するためのポート。2181で自動設定され、変更不可
   • CMAK Port: 9000で自動設定され、変更不可
   • CMAKへのアクセス権限: CMAKにアクセスするための IDとパスワードを入力。IDは変更不可
4. ノード設定ステップでノード情報を入力し、[次へ] ボタンをクリックします
   
   • OSタイプ: 使用する OSタイプを選択
   • VPC: 使用する VPCを選択
   • マネージャーノード Subnet: マネージャーノードサーバの Subnetを選択。Public/Private Subnetの中から選択可能
   • マネージャーノード数: マネージャーノードのサーバ数。デフォルト値1が自動設定され、変更不可
   • マネージャーノードのサーバタイプ: 選択可能なサーバタイプ
   • Brokerノード Subnet: Brokerノード Subnetを選択。Private Subnetの中から選択可能
   • Brokerノード数: Brokerノードのサーバ数。デフォルト値は3台、最小3台から最大10台まで作成可能
   • Brokerノードサーバのタイプ: 選択可能なサーバタイプ
   • Brokerノードのストレージ容量: Brokerノードのストレージ容量を設定。OSストレージではない別途の Block Storageを使用し、Block Storageは Brokerノードごとに最大2,000GBまで使用可能
5. 入力した情報が正しいか確認し、 [Cluster作成] ボタンをクリックします。
   • Cluster作成が完了するまで数分から数十分がかかることがあります。

クラスタ管理

クラスタに Brokerノードを追加する方法と、ノードスペックを変更する方法、また CMAKにアクセスするために Brokerノードの Public Endpointを変更する方法、CMAKパスワードを変更する方法を説明します。

Brokerノード追加

Cluster運用中に Brokerノードが追加で必要な場合、Brokerノードを追加できます。追加された Brokerノードの数を減らすことはできず、新規 Brokerノードの追加のみ可能です。

Brokerノードを追加する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールの VPC環境で、Menu > Services > Big Data & Analytics > Cloud Data Streaming Serviceメニューを順にクリックします。
2. Brokerノードを追加する Clusterのチェックボックスをクリックし、クラスタ管理 > Brokerノード追加をクリックします。
3. Brokerノード追加画面が表示されたら、追加するノード数を入力します。
   • 追加するノード数を1に選択する場合、既存の3台に1台の Brokerノードが追加されます。
   • 一度に最大10台まで追加できます。
     
4. [確認] ボタンをクリックします。
   • Brokerノードの増設が始まり、Clusterのサーバステータスが変更中と表示されます。
5. Clusterのサーバステータスが運用中に変更されているか確認します。

ノードスペック変更

Cluster運用中に Managerまたは Brokerノードのスペック変更が必要な場合、ノードスペックを変更できます。現在使用中の CPUと Memoryスペックより低スペックに変更することはできず、高スペックにのみ変更できます。

ノードのスペックを変更する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールの VPC環境で、Menu > Services > Big Data & Analytics > Cloud Data Streaming Serviceメニューを順にクリックします。
2. ノードスペックを変更する Clusterのチェックボックスをクリックして、クラスタ管理 > ノードスペック変更をクリックします。
3. ノードスペックの変更画面が表示されたら、変更するノードスペックを選択します。
   • Manager、Brokerノードのスペックをそれぞれ選択します。
   • 現在使用中のスペックより低スペックは選択できません。
4. [確認] ボタンをクリックします。
   • Clusterのサーバステータスが変更中に表示されます。
   • ノードスペックの変更が完了すると Clusterのサーバステータスが運用中に表示されます。

ノードディスクサイズ

Cluster運用中に Brokerノードのディスクサイズ変更が必要な場合、ノードのディスクサイズを変更できます。

Brokerノードのディスクサイズを変更する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールの VPC環境で、Menu > Services > Big Data & Analytics > Cloud Data Streaming Serviceメニューを順にクリックします。
2. ノードディスクサイズを変更する Clusterのチェックボックスをクリックし、クラスタ管理 > ノードディスクサイズ変更をクリックします。
3. ノードディスクサイズ変更のポップアップが表示されたら、変更するノードのディスクサイズを入力します。
   • 変更したノード別ディスクサイズは10GB単位でのみ変更できます。
   • 現在使用中のサイズより低いサイズは変更できません。
4. [確認] ボタンをクリックします。
5. ノードディスクサイズ変更のポップアップが表示され、**反映されました。**というメッセージが表示されたら、 [確認] ボタンをクリックします
   • Clusterのサーバステータスが変更中に表示されます。
   • ノードディスクサイズの変更中には、Clusterのサービスが停止されます。
   • ノードディスクサイズの変更が完了すると、Clusterのサーバステータスが運用中に表示されます。

Brokerノードの Public Endpoint設定変更

Brokerノードの設定ファイルに Public Endpoint専用の listener、advertised listenerを追加できます。Brokerノードの Public Endpoint設定を変更する前に、Load Balancer設定を参照して Load Balancer設定を完了する必要があります。

Brokerノードの Public Endpoint設定を変更する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールの VPC環境で、Menu > Services > Big Data & Analytics > Cloud Data Streaming Service > Clusterメニューを順にクリックします。
2. Brokerノードの Public Endpoint設定を変更する Clusterのチェックボックスをクリックし、クラスタ管理 > Brokerノードの Public Endpoint設定変更をクリックします。
   • Brokerノードの Public Endpointで設定できる Load Balancerリストが表示されます。
3. Load Balancerを選択します。
   
   • Networkタイプ、Public IPを使用中の Load Balancerのみ選択できます。
   • 他のクラスタで使用中の Load Balancerは選択できません。
4. [確認] ボタンをクリックします。

CMAKアクセス

CMAKにアクセスする方法は、CMAKアクセスをご参照ください。

CMAKアクセスパスワードの初期化

CMAKアクセスのパスワードを忘れた場合、パスワードを変更できます。
CMAKアクセスパスワードを変更する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールの VPC環境で、Menu > Services > Big Data & Analytics > Cloud Data Streaming Service > Clusterメニューを順にクリックします。
2. クラスタ管理 > CMAKアクセスパスワード初期化をクリックします。
3. 変更するパスワードを入力し、 [確認] ボタンをクリックします。
   • 変更したパスワードが適用されるまで数分かかります。

CMAKアクセスドメインの設定変更

CMAKにアクセスする前に CMAKサーバにアクセスできる Publicドメインを有効化ステータスに変更する必要があります。
CMAKアクセスドメイン設定を変更する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールの VPC環境で、Menu > Services > Big Data & Analytics > Cloud Data Streaming Service > Clusterメニューを順にクリックします。
2. クラスタ管理 > CMAKアクセスドメイン設定変更をクリックします。
3. ポップアップが表示されたら有効化、無効化メッセージを確認し、 [確認] ボタンをクリックします。
   
   • Publicドメインが無効ステータスの場合、Publicドメインを有効化できます。
   • Publicドメインが有効ステータスの場合、Publicドメインを無効化できます。外部からの CMAKアクセスが遮断されます。

クラスタ再起動

クラスタステータスに問題が発生した場合、CMAK、Kafka、Zookeeperを再起動します。

すべてのサービスを再起動

Kafka、Zookeeper、CMAKを一度に再起動する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールの VPC環境で、Menu > Services > Big Data & Analytics > Cloud Data Streaming Service > Clusterメニューを順にクリックします。
2. クラスタ再起動 > すべてのサービス再起動をクリックします。

Kafka/Zookeeper再起動

Kafkaと Zookeeperを再起動する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールの VPC環境で、Menu > Services > Big Data & Analytics > Cloud Data Streaming Service > Clusterメニューを順にクリックします。
2. クラスタの再起動 > Kafka & Zookeeper再起動をクリックします。

ノード別 Kafkaの再起動

ノード別に Kafkaを再起動する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールの VPC環境で、Menu > Services > Big Data & Analytics > Cloud Data Streaming Service > Clusterメニューを順にクリックします。
2. クラスタ再起動 > ノード別 Kafka再起動をクリックします
3. Kafkaを再起動するノードのチェックボックスをクリックし、 [確認] ボタンをクリックします。
   
   • 選択したノードの Kafkaを再起動します。

CMAK再起動

CMAKを再起動する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールの VPC環境で、Menu > Services > Big Data & Analytics > Cloud Data Streaming Service > Clusterメニューを順にクリックします。
2. クラスタ再起動 > CMAK再起動をクリックします

Load Balancer設定と ACG設定

Brokerノードの Public Endpointで設定できる Load Balancerを作成して設定する方法を説明します。

Target Group作成

Target Groupを作成する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールの VPC環境で、Menu > Services > Big Data & Analytics > Cloud Data Streaming Serviceメニューを順にクリックします。
2. クラスタの詳細情報で Brokerノード情報の [詳細を見る] ボタンをクリックします。
3. Brokerノードの情報画面が表示されたら、Public Endpoint PlainText Listener Portの情報を確認します。
   • 各 Brokerノードに対応する Portを確認します。
   • 暗号化通信を利用する場合、Public Endpoint TLS Listener Portの情報を確認します。
     
4. NAVERクラウドプラットフォームコンソールの VPC環境で、Menu > Services > Networking > Load Balancer > Target Groupメニューを順にクリックします。
5. Target Group作成ボタンをクリックします。
6. Target Group情報を入力し、 [次へ] ボタンをクリックします。
   
   • Target Group名: Target Groupの名前を入力
   • Target Groupタイプ: Target Groupタイプを選択 VPC Serverを選択
   • VPC: Clusterを作成した VPCと同じ VPCを選択
   • プロトコル: TCPプロトコルを選択
   • ポート: 3番で確認した Brokerノードに対応する Portのうち1つを入力
     • 各 Brokerノードに対応する Portに作成した Target Groupが必要です。
     • Brokerノードが3つの場合、合計3つの Target Groupが必要です。
7. Health Checkの設定情報を入力し、 [次へ] ボタンをクリックします。
   
   • プロトコル: TCPプロトコルを選択
   • ポート: 前のステップで入力した Portを入力
8. Target Groupに適用する Targetを選択し、> ボタンをクリックします。
   
   • 前のステップで入力した Portに対応する Brokerノードを選択します。
   • Brokerノードに対応する Portは、Brokerノード情報の [詳細を見る] ボタンをクリックして確認できます。
9. [次へ] ボタンをクリックします。
10. 設定した情報を確認し、 [Target Group作成] ボタンをクリックします。
11. これまでの手順を繰り返して、Brokerノードの数だけ Target Groupを作成します。

Load Balancer作成

Load Balancerを作成する方法は次の通りです。

1. NAVERクラウドプラットフォームコンソールの VPC環境で、Menu > Services > Networking > Load Balancer > Load Balancerメニューを順にクリックします。
2. [ロードバランサ作成] > [ネットワークロードバランサ作成] ボタンをクリックします。
   • 他のタイプのロードバランサを作成する場合に、Cloud Data Streaming Serviceに表示されません。
3. ロードバランサの作成情報を入力し、 [次へ] ボタンをクリックします。
   
   • ロードバランサ名: ロードバランサの名前を入力
   • Network: Public IPを選択
   • 負荷処理性能: 負荷処理性能による Load Balancerサイズを選択
   • 対象 VPC: Cloud Data Streaming Service Clusterの作成時に選択した VPCと同じ VPCを選択
   • サブネット選択: Load Balancer専用の Subnetを選択
4. リスナ設定項目で Brokerノードに対応する Portのうち一つを入力し、 [追加] ボタンをクリックします。
   • 残りの Portは Load Balancer作成を完了した後、リスナの追加機能を利用して追加します。
     
5. [次へ] ボタンをクリックします。
6. リスナの設定ステップで登録した Load Balancerポートに対応する Target Groupを選択し、 [次へ] ボタンをクリックします。
   
7. 作成された情報が正しいか確認し、 [ロードバランサ作成] ボタンをクリックします。

Target Groupリスナー設定

残りの Target Groupに対してリスナの設定を完了する必要があります。

1. NAVERクラウドプラットフォームコンソールの VPC環境で、Menu > Services > Networking > Load Balancer > Load Balancerメニューを順にクリックします。
2. リスナの設定を変更する Load Balancerのチェックボックスをクリックし、 [リスナ設定変更] ボタンをクリックします。
3. [リスナ追加] ボタンをクリックします
   
4. リスナ追加画面が表示されたら、情報を入力します。
   
   • プロトコル: TCPを選択
   • ポート: Brokerノードに対応する Portを入力
   • Target Group: Portに対応する Target Groupを選択
5. [確認] ボタンをクリックします。リスナが追加されます。
6. Target Group作成ステップで作成したすべての Target Groupに対してリスナを登録します。

ACG設定

Load Balancerと外部から Brokerノードにアクセスできるように IPアドレスに対する ACGルールを設定する必要があります。

ACGルールを設定する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールの VPC環境で、Menu > Services > Big Data & Analytics > Cloud Data Streaming Service > Clusterメニューを順にクリックします。
2. ACG設定を変更するクラスタの詳細情報領域で Brokerノード ACGの イメージをクリックします。
   • ACG設定画面に移動します。
     
3. ACGリストで Brokerノード ACGを選択して [ACG設定] ボタンをクリックします。
   • ACGルールの設定画面が表示されます。
     
4. Load Balancerと外部から Brokerノードにアクセスするための IPアドレスに対する ACG Ruleをそれぞれ作成します。
   
   • プロトコル: TCPを選択
   • アクセスソース: Brokerノードにアクセスが必要な帯域の IPアドレスを入力
     • Load Balancerにアクセスすることを許可するために、Load Balancer専用 Subnetの IPアドレス範囲を入力
     • [myip] : 自分のパブリック IPアドレスを確認し、当該 IPアドレスをアクセスソースに登録可能
   • 許可ポート: 許可するポートを入力。特定ポートまたは範囲入力可能
5. 追加したルールを確認し、 [適用] ボタンをクリックします。
   • 当該ルールが ACGに適用されます。

クラスタ削除

クラスタを削除する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールの VPC環境で、Menu > Services > Big Data & Analytics > Cloud Data Streaming Serviceメニューを順にクリックします。
2. Clusterメニューで削除するクラスタのチェックボックスをクリックし、 [削除] ボタンをクリックします。
3. クラスタの削除画面が表示されたら、 [確認] ボタンをクリックします。