Data Forest 사용 준비

인쇄
공유
PDF

Article Summary

Share feedback

Thanks for sharing your feedback!

VPC 환경에서 이용 가능합니다.

Data Forest의 원활한 이용을 위해 알아야 할 정보 및 요금 정보를 설명합니다

Data Forest 컴포넌트

Data Forest는 데이터 저장, 분석 및 시각화할 수 있는 컴포넌트로 구성되어 있습니다. 사용자는 용도에 맞는 컴포넌트를 생성하고 사용할 수 있습니다.

df-overview_apps_vpc_ko

용도	컴포넌트
데이터 저장	HDFS HBase OpenTSDB
데이터 접근과 프로세싱	Hive Spark Phoenix Elasticsearch Kafka
데이터 관리	Oozie Zookeeper
데이터 시각화	Kibana Zeppelin Grafana Hue

Data Forest 애플리케이션 종류

Data Forest에서 사용할 수 있는 애플리케이션은 다음과 같습니다.

애플리케이션	설명
DEV-1.0.0	Data Forest에서 제공하는 모든 서비스에 대한 클라이언트 역할 HDFS 명령어를 수행하거나 Spark Job 제출 가능 HBase, Kafka에 대한 클라이언트 환경 구성 가능
ELASTICSEARCH-7.3.2	Elasticsearch 클러스터 제공 oss 버전 제공
GRAFANA-7.5.10	Grafana 서버 제공 OpenTSDB와 연동하여 모니터링 페이지로 사용 가능
HBASE-2.0.0	Apache HBase 클러스터 제공 Kerberos 인증 적용
HBASE-2.2.3	Apache HBase 클러스터 제공 Kerberos 인증 미적용
HIVESERVER2-LDAP-3.1.0	Apache HiveServer2 제공 LDAP 방식으로 인증 스트리밍 플랫폼 구성 시 사용 가능
HUE-4.7.0	Apache Hue 서버 파일 브라우저, 코드 에디팅, Job 제출이 가능한 인터페이스 제공
KAFKA-2.4.0	Apache Kafka 클러스터 제공 스트리밍 플랫폼을 구성에 사용 가능
KIBANA-7.3.2	Kibana 서버 제공 oss 버전 제공 Elasticsearch에 대한 시각화 도구로 활용 가능
OPENTSDB-2.4.1	OpenTSDB 서버 제공 시계열 데이터 저장 가능 저장소로 HBase 사용
PHOENIX-5.0.0	Apache Phoenix 서버 제공 제공되는 Phoenix CLI로 바로 쿼리 실행 가능
SPARK-HISTORYSERVER-3.1.2	개인용 Spark History Server 제공 자신이 수행한 작업만 모아보기 가능
TRINO-367	Trino 서버 제공 제공되는 Trino Cli로 바로 쿼리 실행 가능
ZEEPPELIN-0.10.1	Apache Zeppelin 서버 제공 코드 에디팅 가능한 인터페이스 제공
ZOOKEEPER-3.4.13	Apache Zookeeper 앙상블 제공 HBase, Kafka 앱 실행 및 사용 시 필요

Notebooks에서 사용할 수 있는 애플리케이션은 다음과 같습니다.

애플리케이션	설명
JUPYTERLAB	Jupyter Notebook 기반의 웹 인터페이스인 JupyterLab 제공 데이터 분석을 위한 Object Storage연동 및 코드 실행 가능

애플리케이션 간 의존성 정보

Data Forest의 애플리케이션 간 의존성 정보는 다음과 같습니다.

df-version_00_vpc_ko

앱 간의 의존성 방향
Data Forest의 특정 앱은 서로 의존성을 가지고 있어 앱 생성 순서에 영향을 줍니다. 각 앱의 의존성 방향을 참고하여 앱을 생성해 주십시오.
- OpenTSDB는 HBase에 의존성을 가지고, HBase는 Zookeeper에 의존성을 가집니다. 앱의 생성 순서는 Zookeeper > HBase > OpenTSDB 순으로 앱을 생성해야 합니다.
- Kafka는 Zookeeper에 의존성을 가지므로 Zookeeper > Kafka 순으로 앱을 생성해야 합니다.
- Elasticsearch > Kibana 순서로 앱을 생성해야 합니다.
앱 간의 연동가능 방향
앱 생성 시 제약이 있는 것은 아니지만 서로 연동하여 사용할 수 있는 앱을 나타냅니다.

애플리케이션 버전 정보

Data Forest에서 제공하는 애플리케이션의 버전 정보는 다음과 같습니다.

애플리케이션	버전
DEV	1.0.0
ELASTICSEARCH	7.3.2
GRAFANA	7.5.10
HBASE	2.0.0, 2.2.3
HIVESERVER2-LDAP	3.1.0
HUE	4.7.0
KAFKA	2.4.0
KIBANA	7.3.2
OPENTSDB	2.4.1
PHOENIX	5.0.0
SPARK-HISTORYSERVER	3.1.2
TRINO	3.6.7
ZEPPELIN	0.10.1
ZOOKEEPER	3.4.13