ZooKeeper を使用する

VPC環境で利用できます。

Data ForestはApache Zookeeperサーバを提供します。Zookeeperは分散コーディネーションシステムで、分散しているアプリケーション作業を調整できるようにサポートします。ウェブUIを利用したznodeの確認と操作ができるようにzk-webが含まれています。

Zookeeperアプリの詳細情報の確認

アプリの作成が完了すると詳細情報を確認できます。アプリの詳細情報のStatusがStableであれば、アプリが正常に起動されたことを意味します。

アプリの詳細情報を確認する方法は以下のとおりです。

1. NAVERクラウドプラットフォームコンソールで、Services > Big Data & Analytics > Data Forest > Appメニューを順にクリックします。
2. アプリを所有するアカウントを選択します。
3. 詳細情報を確認するアプリをクリックします。
4. アプリの詳細情報を確認します。
   
   • Quick links：アプリを構成するコンポーネントが表示するエンドポイントです。
     • AppMaster：コンテナログを確認できるURL。アプリを作成するとすべてのアプリはYARNキューに提出され、YARNは各アプリの詳細情報を確認できるウェブUIを提供
     • zkweb-ui：ウェブUIにアクセスしてzkserver-0.アプリ名.サービスアカウント.クラスタドメイン:2181/形式でZookeeperパスを設定できる
   • コンポーネント：デフォルト値が推奨リソースです。
     • zkweb：zk-web起動
     • zkserver：Zookeeper起動

<例>
zkweb UIアクセス画面は以下のとおりです。

正常にアクセスすると以下のようにznode情報が確認できます。

Zookeeperと他のアプリの連携

ZookeeperアプリはApache HBase、Apache Kafka、OpenTSDBアプリと連携できます。HBase、Kafka、OpenTSDBアプリを使用するには、まずZookeeperアプリを作成する必要があります。

コンテナのホスト名を確認

アプリを作成する際、コンテナのホスト名が自動的に指定されます。
zkserverコンポーネントのコンテナ数はデフォルト値の3に指定されています。
「test」という名前のユーザーが「zookeeper」というアプリ名でzkserverコンポーネントがあるZOOKEEPER-3.4.13を実行する場合、実行される3つのコンテナは以下のようなホスト名になります。

• zkserver-0.zookeeper.test.kr.df.naverncp.com
• zkserver-1.zookeeper.test.kr.df.naverncp.com
• zkserver-2.zookeeper.test.kr.df.naverncp.com

HBaseアプリでZookeeperアプリを設定

Apache HBaseアプリを起動するには、まずZookeeperアプリを作成する必要があります。

HBaseで使用されるZookeeperは、hbase-siteのhbase.zookeeper.quorumに設定します。作成したZookeeperアプリのコンテナに設定します。詳しい使用方法はApache HBase Reference Guideをご参照ください。

Zookeeperアプリ使用時の注意事項

zkserver数の変更

追加されるサーバのアドレスがこれまで起動中のサーバの設定に含まれる必要があるため、サーバの中断なしにzkserver数を変更するのは簡単ではありません。そのため、最初にアプリを起動する際に適切な数で始めることをお勧めします。現在zkserverのコンテナ数は3に固定されており、今後zkserverのコンテナ数を調整できる機能が追加される予定です。

Zookeeperアプリデータの保管

• ユーザーが作成したZookeeperアプリのデータ(dataDir)はData Forestのローカルファイルシステムに保存されており、ユーザーがアプリを削除(destroy)しない限りデータが消えることはありません。
• YARNキューリソースが十分であれば、ユーザーがZookeeperアプリを停止してから再起動してもコンテナが同じノードで再起動されるため、以前のznodeデータを読み込むことができます。