Zeppelinの使用
    • PDF

    Zeppelinの使用

    • PDF

    Article Summary

    VPC環境で利用できます。

    ZEPPELIN-0.10.1アプリは、Apache Zeppelinをサポートします。Zeppelinはデータ可視化ツールであり、データ分析を簡単にでき、ユーザーごとに個別の Zeppelinを使用できます。

    Zeppelinアプリの詳細情報の確認

    アプリの作成が完了すると詳細情報を確認できます。 アプリの詳細情報の StatusStable状態であれば、アプリが正常に起動されたことを意味します。

    アプリの詳細情報を確認する方法は次の通りです。

    1. NAVERクラウドプラットフォームコンソールで Services > Big Data & Analytics > Data Forestメニューを順にクリックします。
    2. 左側の Data Forest > Appsメニューをクリックします。
    3. アカウントを選択します。
    4. 詳細情報を確認するアプリをクリックします。
    5. アプリの詳細情報を確認します。
      df-zeppelin_1-2_vpc_ko
      • Quick links
        • AppMaster: コンテナログを確認できる URL。アプリを作成するとすべてのアプリは YARNキューに提出され、YARNは各アプリの詳細情報を確認できる Web UIを提供
        • shell: ウェブシェル(Web shell)を利用すると、Zeppelinが実行された Docker環境にアクセスでき、内部のチェックおよび環境設定を希望どおりに修正できる。アプリを作成したアカウント名とパスワードでログイン
        • supervisor: Zeppelinを管理できる URL
        • zeppelin: アプリを作成したアカウント名とパスワードでログイン
      • コンポーネント: ZEPPELIN-0.10.1タイプは zeppelinコンポーネントのみで構成されます。
        • zeppelin: デフォルトで適用された値が推奨リソース。デフォルト値として1Core/12GBメモリをリクエストして起動。

    <例>

    シェルアクセス画面は次の通りです。
    df-zeppelin_5_vpc_ko.png

    Zeppelinアクセス画面は次の通りです。
    df-zeppelin_06_vpc_ko

    参考

    作業を実行する際に詳細設定を調整する場合は、Interpreters in Apache Zeppelinをご参照ください。

    Interpreterの設定

    Spark

    Sparkは現在 3.0.1バージョンが基本設定のため、ノートパソコンを作成してすぐに使用できます。Zeppelinで駆動した作業は、基本的にキューが Devに割り当てられて実行されます。他のキューで実行するには、Interpretersで Sparkを検索して [edit] ボタンをクリックし、Propertiesに spark.yarn.queue設定を追加してください。
    df-zeppelin_07_vpc_ko(1)

    参考

    権限のないキューに作業を提出する場合、失敗する可能性があります。

    参考

    従来の Spark2バージョンを使用するには、ノートパソコンを作成する際に Default Interpreterで「spark248」を選択してください。

    JDBC

    Hiveを利用するには、%jdbc(hive)のように入力する必要があります。

    参考

    Hive規則および権限の説明は、公用 Hiveを使用するをご参照ください。

    ノートブックを作成してtest02__db_testというデータベースを照会する例は、次の通りです。

    df-zeppelin_08_vpc_ko

    %jdbc(hive)
    use test02__db_test;
    show tables;
    select * from test;
    

    ノートブックのバックアップ

    Zeppelinアプリはノートブックと一部設定のバックアップが一緒に行われ、Zeppelinが実行中のデバイスが変更されてもノートブックと設定を同期できます。バックアップは10分周期で行われます。

    • 手動でバックアップする場合、ウェブシェルにアクセスした後backup.shを実行すると、すぐにノートブックと設定がバックアップされます。
    • バックアップログは、Zeppelinコンテナにアクセスするとhdfs://koya/user/${USER}/zeppelin/${SERVICE_NAME}/backupディレクトリで確認できます。
      df-zeppelin_9_vpc_ko

    この記事は役に立ちましたか?

    Changing your password will log you out immediately. Use the new password to log back in.
    First name must have atleast 2 characters. Numbers and special characters are not allowed.
    Last name must have atleast 1 characters. Numbers and special characters are not allowed.
    Enter a valid email
    Enter a valid password
    Your profile has been successfully updated.