Zookeeper を使用する

Prev Next

VPC環境で利用できます。

Data Forestは Apache Zookeeperサーバを提供します。Zookeeperは分散コーディネーションシステムとして、分散されたアプリケーションのタスクを調整するのに役立ちます。Web UIを利用した znodeの確認や操作ができるように zk-webを含んでいます。

Zookeeperアプリの詳細情報の確認

アプリの作成が完了すると、詳細情報を確認できます。アプリの詳細情報の Statusが Stableの場合、アプリが正常に起動されたことを意味します。

アプリの詳細情報を確認する方法は、次の通りです。

  1. NAVERクラウドプラットフォームコンソールの VPC環境で、i_menu > Services > Big Data & Analytics > Data Forestメニューを順にクリックします。
  2. 左側の Data Forest > Appsメニューをクリックします。
  3. アプリを所有するアカウントを選択します。
  4. 詳細情報を確認するアプリをクリックします。
  5. アプリの詳細情報を確認します。
    df-zookeeper_2-1_updated_ko
    • Quick links: アプリを構成するコンポーネントが表示するエンドポイントです。
      • zkweb-ui: Web UIにアクセスした後、「zkserver-0.アプリ名.サービスアカウント.クラスタドメイン:2181/」の形式で Zookeeperのパスを設定可能
    • コンポーネント: デフォルトで指定された値が推奨リソースです。
      • zkweb: zk-webを起動
      • zkserver: Zookeeperを起動
参考
  • Zookeeperアプリの作成時、Configuration > Number of containersで zkwebコンポーネントは1、zkserverコンポーネントは3に固定されています。

例)
zkweb UIのアクセス画面は、次の通りです。
df-zookeeper_04_vpc_ko

正常に接続すると、以下のように znode情報を確認できます。
df-zookeeper_10_vpc_ko

Zookeeperと他のアプリを連携

Zookeeperアプリは Apache HBase、Apache Kafka、OpenTSDBアプリと連携できます。HBase、Kafka、OpenTSDBアプリを使用するには、まず Zookeeperアプリを作成する必要があります。

コンテナのホスト名を確認

アプリ作成時にコンテナのホスト名が自動的に指定されます。
zkserverコンポーネントのコンテナ数は、デフォルト値の3で指定されています。
「test」という名前のユーザーが「zookeeper」というアプリ名で zkserverコンポーネントがある ZOOKEEPER-3.4.13を実行する場合、実行される3つのコンテナは以下のようなホスト名を持つことになります。

  • zkserver-0.zookeeper.test.kr.df.naverncp.com
  • zkserver-1.zookeeper.test.kr.df.naverncp.com
  • zkserver-2.zookeeper.test.kr.df.naverncp.com

HBaseアプリで Zookeeperアプリを設定

Apache HBaseアプリを起動するためには、まず Zookeeperアプリを作成する必要があります。

HBaseで使用する Zookeeperは、「hbase-siteの hbase.zookeeper.quorum」に設定します。作成した Zookeeperアプリのコンテナに設定します。より詳細な方法は、Apache HBase Reference Guideをご参照ください。

Zookeeperアプリ使用時の注意事項

zkserver数変更

追加されるサーバのアドレスが既存のサーバの設定に含まれる必要があるので、サーバを停止することなく zkserverコンテナの数を変更するのは困難です。そのため、初めてアプリを起動するときは、適切な数で始めることをお勧めします。現在、zkserverのコンテナ数は3に固定されており、今後 zkserverのコンテナ数を調整できる機能が追加される予定です。

参考

Configuration > Number of containersを変更した場合、変更した数に応じて filesの /conf/zoo.cfgファイルに server.Xの設定を追加(または削除)してください。また、 envの DNS_REGISTRY_CHECK_HOSTS設定を変更した数に合わせて設定してください。

Zookeeperアプリデータの保管

  • ユーザーが作成した Zookeeperアプリのデータ(dataDir)は Data Forestローカルファイルシステムに保存されており、ユーザーがアプリを削除(destroy)しない限りデータは消えません。
  • YARNキューのリソースが十分である場合、ユーザーが Zookeeperアプリを停止して再起動しても同じノードでコンテナが再起動するため、以前の znodeデータを読み込むことができます。