Data Forest使用準備
- 印刷する
- PDF
Data Forest使用準備
- 印刷する
- PDF
Article Summary
Share feedback
Thanks for sharing your feedback!
最新のコンテンツが反映されていません。早急にアップデート内容をご提供できるよう努めております。最新のコンテンツ内容は韓国語ページをご参照ください。
VPC環境で利用できます。
Data Forestを円滑に利用するために知っておくべき情報と料金情報について説明します
Data Forest のコンポーネント
Data Forestはデータの保存、分析、可視化できるコンポーネントで構成されています。ユーザーは、用途に合ったコンポーネントを作成して使用できます。
| 用途 | コンポーネント |
|---|---|
| データの保存 | - HDFS - HBase - OpenTSDB |
| データアクセスとプロセッシング | - Hive - Spark - Phoenix - Elasticsearch - Kafka |
| データの管理 | - Oozie - Zookeeper |
| データの可視化 | - Kibana - Zeppelin - Grafana - Hue |
Data Forest アプリケーションの種類
Data Forestで使用できるアプリケーションは、次の通りです。
| アプリケーション | 説明 |
|---|---|
| DEV-1.0.0 | - Data Forestで提供するすべてのサービスに対するクライアントのロール - HDFSコマンドを実行するか Spark Jobを提出できる - HBase、Kafkaに対するクライアント環境を構成できる |
| ELASTICSEARCH-7.3.2 | - Elasticsearchクラスタを提供 - ossバージョンを提供 |
| GRAFANA-7.5.10 | - Grafanaサーバを提供 - OpenTSDBと連携してモニタリングページとして使用できる |
| HBASE-2.0.0 | - Apache HBaseクラスタを提供 - Kerberos認証を適用 |
| HBASE-2.2.3 | - Apache HBaseクラスタを提供 - Kerberos認証を未適用 |
| HIVESERVER2-LDAP-3.1.0 | - Apache HiveServer2を提供 - LDAP方式で認証 - ストリーミングプラットフォームを構成する際に使用できる |
| HUE-4.7.0 | - Apache Hueサーバ - ファイルブラウザ、コードエディティング、Job提出が行えるインターフェースを提供 |
| KAFKA-2.4.0 | - Apache Kafkaクラスタを提供 - ストリーミングプラットフォームを構成する際に使用できる |
| KIBANA-7.3.2 | - Kibanaサーバを提供 - ossバージョンを適用 - Elasticsearchに対する可視化ツールとして活用できる |
| OPENTSDB-2.4.1 | - OpenTSDBサーバを提供 - 時系列データを保存できる - ストレージとして HBaseを利用 |
| PHOENIX-5.0.0 | - Apache Phoenixサーバを提供 - 提供される Phoenix CLIで即時にクエリを実行できる |
| SPARK-HISTORYSERVER-3.1.2 | - 個人用 Spark History Serverを提供 - 自分が行ったタスクをまとめて確認できる |
| TRINO-367 | - Trinoサーバを提供 - 提供される Trino Cliで即時にクエリを実行できる |
| ZEEPPELIN-0.10.1 | - Apache Zeppelinサーバを提供 - コードエディティングが行えるインターフェースを提供 |
| ZOOKEEPER-3.4.13 | - Apache Zookeeperアンサンブルを提供 - HBase、Kafkaアプリの実行・使用時に必要 |
Notebooksで使用できるアプリケーションは、次の通りです。
| アプリケーション | 説明 |
|---|---|
| JUPYTERLAB | - Jupyter Notebookベースのウェブインターフェースである JupyterLabを提供 - データ分析のための Object Storageの連携とコードを実行できる |
アプリケーション間の依存関係情報
Data Forestのアプリケーション間の依存関係情報は、次の通りです。
アプリ間依存関係の方向
Data Forestのあるアプリは相互依存関係にあるため、アプリの作成手順に影響を与えます。各アプリの依存関係の方向を参考にしてアプリを作成してください。- OpenTSDBは HBaseに依存しており、HBaseは Zookeeperに依存しています。アプリの作成手順は Zookeeper > HBase > OpenTSDBの順にアプリを作成します。
- Kafkaは Zookeeperに依存するため、Zookeeper > Kafkaの順にアプリを作成します。
- Elasticsearch > Kibanaの順にアプリを作成します。
アプリ間の連携可能方向
アプリの作成時に制約はありませんが、相互連携して使用できるアプリを表します。
アプリケーションのバージョン情報
Data Forestで提供するアプリケーションのバージョン情報は、次の通りです。
| アプリケーション | バージョン |
|---|---|
| DEV | 1.0.0 |
| ELASTICSEARCH | 7.3.2 |
| GRAFANA | 7.5.10 |
| HBASE | 2.0.0, 2.2.3 |
| HIVESERVER2-LDAP | 3.1.0 |
| HUE | 4.7.0 |
| KAFKA | 2.4.0 |
| KIBANA | 7.3.2 |
| OPENTSDB | 2.4.1 |
| PHOENIX | 5.0.0 |
| SPARK-HISTORYSERVER | 3.1.2 |
| TRINO | 3.6.7 |
| ZEPPELIN | 0.10.1 |
| ZOOKEEPER | 3.4.13 |
Notebooksで提供するアプリケーションのバージョン情報は、次の通りです。
| アプリケーション | バージョン |
|---|---|
| JUPYTERLAB | 3.6.3 |
参考
アプリケーション間の依存関係や連携できるかどうかに応じて、サポートするアプリケーションバージョンが変更されることがあります。
ノートブックでサポートするサーバスペック
| CPU | Memory | Disk(HDD) |
|---|---|---|
| vCPU 4個 | 16GB | 50GB |
| vCPU 4個 | 32GB | 50GB |
| vCPU 8個 | 16GB | 50GB |
| vCPU 8個 | 32GB | 50GB |
| vCPU 8個 | 64GB | 50GB |
利用料金
Data Forestの利用料金に関する詳しい基準は、ポータル > サービス > Analytics > Data Forestメニューあるいはポータル > 料金メニューをご参照ください。
この記事は役に立ちましたか?