- 印刷する
- PDF
Zeppelinの使用
- 印刷する
- PDF
VPC環境で利用できます。
ZEPPELIN-0.10.1アプリは、Apache Zeppelinをサポートします。Zeppelinはデータ可視化ツールであり、データ分析を簡単にでき、ユーザーごとに個別の Zeppelinを使用できます。
Zeppelinアプリの詳細情報の確認
アプリの作成が完了すると詳細情報を確認できます。 アプリの詳細情報の Statusが Stable状態であれば、アプリが正常に起動されたことを意味します。
アプリの詳細情報を確認する方法は次の通りです。
- NAVERクラウドプラットフォームコンソールで Services > Big Data & Analytics > Data Forestメニューを順にクリックします。
- 左側の Data Forest > Appsメニューをクリックします。
- アカウントを選択します。
- 詳細情報を確認するアプリをクリックします。
- アプリの詳細情報を確認します。
- Quick links
- AppMaster: コンテナログを確認できる URL。アプリを作成するとすべてのアプリは YARNキューに提出され、YARNは各アプリの詳細情報を確認できる Web UIを提供
- shell: ウェブシェル(Web shell)を利用すると、Zeppelinが実行された Docker環境にアクセスでき、内部のチェックおよび環境設定を希望どおりに修正できる。アプリを作成したアカウント名とパスワードでログイン
- supervisor: Zeppelinを管理できる URL
- zeppelin: アプリを作成したアカウント名とパスワードでログイン
- コンポーネント: ZEPPELIN-0.10.1タイプは zeppelinコンポーネントのみで構成されます。
- zeppelin: デフォルトで適用された値が推奨リソース。デフォルト値として1Core/12GBメモリをリクエストして起動。
- Quick links
<例>
シェルアクセス画面は次の通りです。
Zeppelinアクセス画面は次の通りです。
作業を実行する際に詳細設定を調整する場合は、Interpreters in Apache Zeppelinをご参照ください。
Interpreterの設定
Spark
Sparkは現在 3.0.1バージョンが基本設定のため、ノートパソコンを作成してすぐに使用できます。Zeppelinで駆動した作業は、基本的にキューが Devに割り当てられて実行されます。他のキューで実行するには、Interpretersで Sparkを検索して [edit] ボタンをクリックし、Propertiesに spark.yarn.queue設定を追加してください。
権限のないキューに作業を提出する場合、失敗する可能性があります。
従来の Spark2バージョンを使用するには、ノートパソコンを作成する際に Default Interpreterで「spark248」を選択してください。
JDBC
Hiveを利用するには、%jdbc(hive)
のように入力する必要があります。
Hive規則および権限の説明は、公用 Hiveを使用するをご参照ください。
ノートブックを作成してtest02__db_test
というデータベースを照会する例は、次の通りです。
%jdbc(hive)
use test02__db_test;
show tables;
select * from test;
ノートブックのバックアップ
Zeppelinアプリはノートブックと一部設定のバックアップが一緒に行われ、Zeppelinが実行中のデバイスが変更されてもノートブックと設定を同期できます。バックアップは10分周期で行われます。
- 手動でバックアップする場合、ウェブシェルにアクセスした後
backup.sh
を実行すると、すぐにノートブックと設定がバックアップされます。 - バックアップログは、Zeppelinコンテナにアクセスすると
hdfs://koya/user/${USER}/zeppelin/${SERVICE_NAME}/backup
ディレクトリで確認できます。