Cluster の作成と管理

VPC環境で利用できます。

Cluster画面

Clusterメニューの基本的な説明は、次の通りです。

クラスタ作成

1. NAVERクラウドプラットフォームコンソールにアクセスします。
2. Platform メニューの VPC をクリックして VPC環境に変更します。
3. Services > Big Data & Analytics > Cloud Data Streaming Service メニューを順にクリックします。
4. Cloud Data Streaming Service メニューで [Cluster作成] ボタンをクリックします。
5. クラスタの設定情報を入力し、 [次へ] ボタンをクリックします。
   
   • クラスタ名: クラスタの名前を入力
   • Applicationバージョン: Kafkaバージョン、CMAKバージョンを選択
   • ACG設定: 「cdss-クラスタコード」で ACGを自動作成
   • Config Group設定: Clusterに適用する Config Groupを選択。Config Groupの作成方法は、Config Groupの作成と管理を参照
   • Kafkaログの収集: Kafkaログの収集案内文。Kafkaログは Cloud Log Analyticsで確認可能
   • Kafka Broker Port: Brokerと通信するためのポート。9092で自動設定され、変更不可
   • Kafka Broker TLS Port: Brokerとの通信を暗号化できるポート。9093で自動設定され、変更不可
   • Zookeeper Port: Zookeeper Clientと通信するためのポート。2181で自動設定され、変更不可
   • CMAK Port: 9000で自動設定され、変更不可
   • CMAKアクセス権限: CMAKにアクセスするための IDとパスワードを入力。IDは変更不可
6. ノード設定ステップでノード情報を入力し、 [次へ] ボタンをクリックします
   
   • OSタイプ: 使用する OSタイプを選択
   • VPC: 使用する VPCを選択
   • マネージャノード Subnet: マネージャノードサーバの Subnetを選択。Public/Private Subnetの中から選択可能
   • マネージャノード数: マネージャノードサーバ数。デフォルト値1が自動設定され、変更不可
   • マネージャノードサーバタイプ: 選択できるサーバタイプ
   • Brokerノード Subnet: Brokerノードの Subnetを選択。Private Subnetの中から選択可能
   • Brokerノード数: Brokerノードサーバ数。デフォルト値は3台、最小3台から最大10台まで作成可能
   • Brokerノードサーバタイプ: 選択できるサーバタイプ
   • Brokerノードストレージ容量: Brokerノードストレージ容量を設定。OSストレージではない別途 Block Storageを使用し、Block Storageは Brokerノードごとに最大2000GBまで使用可能
7. 入力した情報が正しいか確認し、 [Cluster作成] ボタンをクリックします。
   • Cluster作成が完了するまで数分から数十分がかかることがあります。

クラスタ管理

クラスタに Brokerノードを追加する方法と、ノードスペックを変更する方法、また CMAKにアクセスするために Brokerノードの Public Endpointを変更する方法、CMAKパスワードを変更する方法を説明します。

Brokerノード追加

Cluster運用中に Brokerノードが追加で必要な場合、Brokerノードを追加できます。追加された Brokerノードの数を減らすことはできず、新規 Brokerノードの追加のみ可能です。

Brokerノードを追加する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールで Services > Big Data & Analytics > Cloud Data Streaming Service メニューを順にクリックします。
2. Brokerノードを追加する Clusterのチェックボックスをクリックし、 クラスタ管理 > Brokerノード追加 をクリックします。
3. Brokerノード追加画面が表示されたら、追加するノード数を入力します。
   • 追加するノード数を1に選択する場合、既存の3台に1台の Brokerノードが追加されます。
   • 一度に最大10台まで追加できます。
     
4. [確認] ボタンをクリックします。

• Brokerノードの増設が始まり、Clusterのサーバ状態が 変更中 と表示されます。

5. Clusterのサーバ状態が 運用中 に変更されているか確認します。

ノードスペック変更

Cluster運用中に Managerまたは Brokerノードのスペック変更が必要な場合、ノードスペックを変更できます。現在使用中の CPUと Memoryスペックより低スペックに変更することは不可能で、高スペックに変更することのみ可能です。

ノードのスペックを変更する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールで Services > Big Data & Analytics > Cloud Data Streaming Service メニューを順にクリックします。
2. ノードスペックを変更する Clusterのチェックボックスをクリックして、 クラスタ管理 > ノードスペック変更 をクリックします。
3. ノードスペックの変更画面が表示されたら、変更するノードスペックを選択します。
   • Manager、Brokerノードのスペックをそれぞれ選択します。
   • 現在使用中のスペックより低スペックは選択できません。
4. [確認] ボタンをクリックします。

• Clusterのサーバ状態が 変更中 に表示されます。
• ノードスペックの変更が完了すると Clusterのサーバ状態が 運用中 に表示されます。

Brokerノードの Public Endpoint設定変更

Brokerノードの設定ファイルに Public Endpoint専用の listener、advertised listenerを追加できます。Brokerノードの Public Endpoint設定を変更する前に、Load Balancer設定を参照して Load Balancer設定を完了する必要があります。

Brokerノードの Public Endpoint設定を変更する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールで Services > Big Data & Analytics > Cloud Data Streaming Service > Cluster メニューを順にクリックします。
2. Brokerノードの Public Endpoint設定を変更する Clusterのチェックボックスをクリックし、 クラスタ管理 > Brokerノードの Public Endpoint設定変更 をクリックします。
   • Brokerノードの Public Endpointで設定できる Load Balancerリストが表示されます。
3. Load Balancerを選択します。
   
   • Networkタイプ、Public IPを使用中の Load Balanceのみ選択できます。
   • 他のクラスタで使用中の Load Balancerは選択できません。
4. [確認] ボタンをクリックします。

CMAKアクセス

CMAKにアクセスする方法は、CMAKアクセスをご参照ください。

CMAKアクセスパスワード初期化

CMAKアクセスのパスワードを忘れた場合、パスワードを変更できます。
CMAKアクセスパスワードを変更する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールで Services > Big Data & Analytics > Cloud Data Streaming Service > Cluster メニューを順にクリックします。
2. クラスタ管理 > CMAKアクセスパスワード初期化 をクリックします。
3. 変更するパスワードを入力し、 [確認] ボタンをクリックします。
   • 変更したパスワードが適用されるまで数分かかります。

CMAKアクセスドメイン設定変更

CMAKにアクセスする前に CMAKサーバにアクセスできる Publicドメインを有効化状態に変更する必要があります。
CMAKアクセスドメイン設定を変更する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールで Services > Big Data & Analytics > Cloud Data Streaming Service > Cluster メニューを順にクリックします。
2. クラスタ管理 > CMAKアクセスドメイン設定変更 をクリックします。
3. ポップアップが表示されたら有効化、無効化メッセージを確認し、 [確認] ボタンをクリックします。
   
   • Publicドメインが無効状態の場合、Publicドメインを有効化できます。
   • Publicドメインが有効状態の場合、Publicドメインを無効化できます。外部からの CMAKアクセスが遮断されます。

クラスタ再起動

クラスタの状態に問題が発生した場合 CMAK、Kafka、Zookeeperを再起動します。

すべてのサービス再起動

Kafka、Zookeeper、CMAKを一度に再起動する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールで Services > Big Data & Analytics > Cloud Data Streaming Service > Cluster メニューを順にクリックします。
2. クラスタ再起動 > すべてのサービス再起動 をクリックします。

Kafka/Zookeeper再起動

Kafkaと Zookeeperを再起動する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールで Services > Big Data & Analytics > Cloud Data Streaming Service > Cluster メニューを順にクリックします。
2. クラスタの再起動 > Kafka & Zookeeper再起動 をクリックします。

ノード別 Kafka再起動

ノード別に Kafkaを再起動する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールで Services > Big Data & Analytics > Cloud Data Streaming Service > Cluster メニューを順にクリックします。
2. クラスタ再起動 > ノード別 Kafka再起動 をクリックします
3. Kafkaを再起動するノードのチェックボックスをクリックし、 [確認] ボタンをクリックします。
   
   • 選択したノードの Kafkaを再起動します。

CMAK再起動

CMAKを再起動する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールで Services > Big Data & Analytics > Cloud Data Streaming Service > Cluster メニューを順にクリックします。
2. クラスタ再起動 > CMAK再起動 をクリックします

Load Balancer設定と ACG設定

Brokerノードの Public Endpointで設定できる Load Balancerを作成して設定する方法を説明します。

Target Group作成

Target Groupを作成する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールで Services > Big Data & Analytics > Cloud Data Streaming Service メニューを順にクリックします。
2. クラスタの詳細情報で Brokerノード情報 の [詳細を見る] ボタンをクリックします。
3. Brokerノードの情報画面が表示されたら、Public Endpoint PlainText Listener Portの情報を確認します。
   • 各 Brokerノードに対応する Portを確認します。
   • 暗号化通信を利用する場合、Public Endpoint TLS Listener Portの情報を確認します。
     
4. NAVERクラウドプラットフォームコンソールで Services > Networking > Load Balancer > Target Group メニューを順にクリックします。
5. Target Group作成 ボタンをクリックします。
6. Target Group情報を入力し、 [次へ] ボタンをクリックします。
   
   • Target Group名: Target Groupの名前を入力
   • Target Groupタイプ: Target Groupのタイプを選択して、 VPC Server を選択
   • VPC: Clusterを作成した VPCと同じ VPCを選択
   • プロトコル: TCP プロトコルを選択
   • ポート: 3番で確認した Brokerノードに対応する Portのうち一つを入力
     • 各 Brokerノードに対応する Portに作成した Target Groupが必要です。
     • Brokerノードが3つの場合、合計3つの Target Groupが必要です。
7. Health Checkの設定情報を入力し、 [次へ] ボタンをクリックします。
   
   • プロトコル: TCP プロトコルを選択
   • ポート: 前のステップで入力した Portを入力
8. Tager Groupに適用する Targetを選択し、 > ボタンをクリックします。
   
   • 前のステップで入力した Portに対応する Brokerノードを選択します。
   • Brokerノードに対応する Portは、Brokerノード情報の [詳細を見る] ボタンをクリックして確認できます。
9. [次へ] ボタンをクリックします。
10. 設定した情報を確認し、 [Target Group作成] ボタンをクリックします。
11. ここまでの過程を繰り返して、Brokerノードの数だけ Target Groupを作成します。

Load Balancer作成

Load Balancerを作成する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールで Services > Networking > Load Balancer > Load Balancer メニューを順にクリックします。
2. [ロードバランサ作成] > [ネットワークロードバランサ作成] ボタンをクリックします。

• 他のタイプのロードバランサを作成する場合に、Cloud Data Streaming Serviceに表示されません。

3. ロードバランサの作成情報を入力し、 [次へ] ボタンをクリックします。
   
   • ロードバランサ名: ロードバランサの名前を入力
   • Network: Public IPを選択
   • 負荷処理性能: 負荷処理性能による Load Balancerサイズを選択
   • 対象 VPC: Cloud Data Streaming Service Clusterの作成時に選択した VPCと同様な VPCを選択
   • サブネット選択: Load Balancer専用の Subnetを選択
4. リスナ設定項目で Brokerノードに対応する Portのうち一つを入力し、 [追加] ボタンをクリックします。
   • 残りの Portは Load Balancer作成を完了した後、リスナの追加機能を利用して追加します。
     
5. [次へ] ボタンをクリックします。
6. リスナの設定ステップで登録した Load Balancerポートに対応する Target Groupを選択し、 [次へ] ボタンをクリックします。
   
7. 作成された情報が正しいか確認し、 [ロードバランサ作成] ボタンをクリックします。

Target Groupリスナ設定

残りの Target Groupに対してリスナの設定を完了する必要があります。

1. NAVERクラウドプラットフォームコンソールで Services > Networking > Load Balancer > Load Balancer メニューを順にクリックします。
2. リスナの設定を変更する Load Balancerのチェックボックスをクリックし、 [リスナ設定変更] ボタンをクリックします。
3. [リスナ追加] ボタンをクリックします
   
4. リスナ追加画面が表示されたら、情報を入力します。
   
   • プロトコル: TCPを選択
   • ポート: Brokerノードに対応する Portを入力
   • Target Group: Portに対応する Target Groupを選択
5. [確認] ボタンをクリックします。リスナが追加されます。
6. Target Group作成ステップで作成したすべての Target Groupに対してリスナを登録します。

ACG設定

Load Balancerと外部から Brokerノードにアクセスできるように IPに対する ACGルールを設定する必要があります。

ACGルールを設定する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールで Services > Big Data & Analytics > Cloud Data Streaming Service > Cluster メニューを順にクリックします。
2. ACG設定を変更するクラスタの詳細情報領域で Brokerノード ACGのイメージをクリックします。
   • ACG設定画面に移動します。
     
3. ACGリストで Brokerノード ACGを選択して [ACG設定] ボタンをクリックします。
   • ACGルールの設定画面が表示されます。
     
4. Load Balancerと外部から Brokerノードにアクセスするための IPに対する ACG Ruleをそれぞれ作成します。
   
   • プロトコル: TCPを選択
   • アクセスソース: Brokerノードにアクセスが必要な帯域の IPを入力
     • Load Balancerアクセスすることを許可するために、Load Balancer専用 Subnetの IPアドレス範囲を入力
     • [myip] : 自分のパブリック IPアドレスを確認し、当該 IPアドレスをアクセスソースに登録可能
   • 許可ポート: 許可するポートを入力。特定ポートまたは範囲入力可能
5. 追加したルールを確認し、 [適用] ボタンをクリックします。
   • 当該ルールが ACGに適用されます。

クラスタ削除

クラスタを削除する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールで Services > Big Data & Analytics > Cloud Data Streaming Service メニューを順にクリックします。
2. Clusterメニューで削除するクラスタのチェックボックスをクリックし、 [削除] ボタンをクリックします。
3. クラスタの削除画面が表示されたら、 [確認] ボタンをクリックします。