Zookeeper 사용

VPC 환경에서 이용 가능합니다.

Data Forest는 Apache Zookeeper 서버를 제공합니다. Zookeeper는 분산 코디네이션 시스템으로서 분산된 애플리케이션 작업을 조율할 수 있도록 도와줍니다. Web UI를 이용한 znode 확인 및 조작이 가능하도록 zk-web을 포함하고 있습니다.

Zookeeper 앱 상세 정보 확인

앱 생성이 완료되면 상세 정보를 확인할 수 있습니다. 앱 상세 정보의 Status가 Stable이면 앱이 정상적으로 구동된 것을 의미합니다.

앱 상세 정보를 확인하는 방법은 다음과 같습니다.

네이버 클라우드 플랫폼 콘솔의 VPC 환경에서 Menu > Services > Big Data & Analytics > Data Forest 메뉴를 차례대로 클릭해 주십시오.
좌측의 Data Forest > Apps 메뉴를 클릭해 주십시오.
앱을 소유한 계정을 선택해 주십시오.
상세 정보를 확인할 앱을 클릭해 주십시오.
앱 상세 정보를 확인해 주십시오.
- Quick links: 앱을 구성하는 컴포넌트가 노출하는 엔드포인트입니다.
  - zkweb-ui: Web UI에 접속한 후 'zkserver-0.앱이름.서비스계정.클러스터도메인:2181/' 형식으로 Zookeeper 경로 설정을 할 수 있음
- 컴포넌트: 기본 지정된 값이 권장 리소스입니다.
  - zkweb: zk-web 구동
  - zkserver: Zookeeper 구동

참고

Zookeeper 앱 생성 시 Configuration > Number of containers에서 zkweb 컴포넌트는 1, zkserver 컴포넌트는 3으로 고정되어 있습니다.

<예시>
zkweb UI 접속 화면은 다음과 같습니다.
df-zookeeper_04_vpc_ko

정상적으로 접속되면 다음과 같이 znode 정보를 확인할 수 있습니다.
df-zookeeper_10_vpc_ko

Zookeeper와 다른 앱 연동

Zookeeper 앱은 Apache HBase, Apache Kafka, OpenTSDB 앱과 연동할 수 있습니다. HBase, Kafka, OpenTSDB 앱을 사용하려면 먼저 Zookeeper 앱을 생성해야 합니다.

컨테이너의 호스트네임 확인

앱 생성 시 컨테이너의 호스트네임이 자동으로 지정됩니다.
zkserver 컴포넌트의 컨테이너 개수는 기본값인 3으로 지정되어 있습니다.
'test'라는 이름의 사용자가 'zookeeper'라는 앱 이름으로 zkserver 컴포넌트가 있는 ZOOKEEPER-3.4.13를 실행하는 경우, 실행되는 3개의 컨테이너들은 다음과 같은 호스트네임을 가지게 됩니다.

zkserver-0.zookeeper.test.kr.df.naverncp.com
zkserver-1.zookeeper.test.kr.df.naverncp.com
zkserver-2.zookeeper.test.kr.df.naverncp.com

HBase 앱에서 Zookeeper 앱 설정

Apache HBase 앱을 구동하려면 Zookeeper 앱을 먼저 생성해야 합니다.

HBase에서 사용될 Zookeeper는 'hbase-site 의 hbase.zookeeper.quorum'으로 설정합니다. 생성한 Zookeeper 앱의 컨테이너로 설정합니다. 더 상세한 방법은 Apache HBase Reference Guide를 참조해 주십시오.

Zookeeper 앱 사용 시 주의 사항

zkserver 개수 변경

추가되는 서버 주소가 기존에 구동 중인 서버의 설정에 포함되어야 하기 때문에 서버 중단 없이 zkserver 컨테이너 개수를 변경하는 것이 어렵습니다. 그러므로 처음 앱을 구동할 때 적절한 개수로 시작하는 것이 좋습니다. 현재 zkserver의 컨테이너의 개수는 3으로 고정되어 있으며 추후 zkserver의 컨테이너 개수를 조정할 수 있는 기능이 추가될 예정입니다.

참고

Configuration > Number of containers를 변경한 경우, 변경한 개수에 따라 files의 /conf/zoo.cfg 파일에 server.X 설정을 추가(또는 삭제)해 주십시오. 또한 env의 DNS_REGISTRY_CHECK_HOSTS 설정을 변경한 개수에 따라 설정해 주십시오.

Zookeeper 앱 데이터 보관

사용자가 생성한 Zookeeper 앱의 데이터(dataDir)는 Data Forest 로컬 파일 시스템에 저장되어 있으며, 사용자가 앱을 삭제 (destroy)하지 않는 이상 데이터는 사라지지 않습니다.
YARN 큐 리소스가 충분하다면, 사용자가 Zookeeper 앱을 중지한 후 재시작하더라도 동일한 노드에서 컨테이너가 다시 기동되기 때문에 이전의 znode 데이터를 읽어 올 수 있습니다.

Documentation Index