HUE を使用する

Prev Next

最新のコンテンツが反映されていません。早急にアップデート内容をご提供できるよう努めております。最新のコンテンツ内容は韓国語ページをご参照ください。

VPC環境で利用できます。

NAVERクラウドプラットフォームの Cloud Hadoopでは Hueコンポーネントを使用できます。
本ガイドでは、Cloud Hadoopクラスタでの Hueの機能や Hueでの Hiveエディタ、Hueブラウザの使用方法について説明します。

Hueの構成要素

Hadoop User Experience(Hue)は、Apache Hadoopクラスタと共に使用されるウェブベースのユーザーインターフェースです。
Hueは他の Hadoopエコシステムと一緒にグループ化され、Hiveタスクと Spark Jobなどを実行できます。

Cloud Hadoopクラスタの Hueは、以下の構成要素をサポートします。

  • ブラウザ

    • ドキュメント: Hueで保存したワークフロー(Workflow)、クエリ、スクリプトファイルを閲覧可能
    • ファイル: HDFSに保存されたファイルを閲覧可能
    • S3: Object Storageバケットに保存されたファイルを閲覧可能
    • テーブル: Hive warehouseに保存されたテーブルを閲覧可能
    • Job: 実行した Oozie Jobのステータス、ログを閲覧可能

  • エディタ

    • Hive: Hiveクエリを実行可能
    • Scala、PySpark: spark-shellのようにインタラクティブな構文を実行可能
    • Spark Submit Jar、Spark: jar、pyファイルをそれぞれ Spark Jobとして提出可能
    • Java: Oozieワークフローを通じて jarを実行可能
    • Distcp: Oozieワークフローを通じて Distcpタスクを実行可能
    • Shell: Oozieワークフローを通じて.shファイルを実行可能
    • MapReduce: MapReduceアプリケーションを Oozieワークフローを通じて実行可能

  • スケジューラ

    • Workflow: Oozieワークフローを作成可能
    • 予約: 作成したワークフローをスケジューリング可能

Hueアクセス

Hueは以下の2つの方法でアクセスできます。

コンソールの Web UIリストを介したアクセス

Cloud Hadoopコンソールで [Application別に見る] を通じて Hue Web UIにアクセスできます。詳細は、Application別に見るをご参照ください。

ドメインによるアクセス

ドメインを用いて Hue Web UIにアクセスする方法は、次の通りです。

  1. NAVERクラウドプラットフォームコンソールの VPC環境で、Services > Big Data & Analytics > Cloud Hadoopメニューを順にクリックします。
  2. クラスタアカウントをクリックし、クラスタ詳細情報画面でドメインアドレスを確認します。
    cloudhadoop-clusterlist-domein_ko
  3. ウェブブラウザのアドレス入力欄に以下のようにドメインアドレスとポート番号を入力し、Hueウェブページにアクセスします。
    https://{ドメインアドレス}:8081
  4. ブラウザにログインページが表示されたら、クラスタの作成時に設定した管理者アカウントとパスワードを入力してログインします。
    • コンソールでクラスタ管理者のアカウントを初期化しても、Hueアカウントの情報は初期化されません。パスワードは、Hueのウェブページで変更する必要があります。

Hiveクエリ実行

Hiveクエリを実行する方法は、次の通りです。

  1. 左側のメニューバーで cloudhadoop-hue-icon > Hive(Hive UI) をクリックしてエディタを起動します。
  2. 編集画面でクエリを実行するデータベースをリストから選択します。
  3. クエリ Editor画面にクエリを入力し、 [実行] ボタンをクリックします。
    • [結果] タブで、実行したクエリの結果を確認できます。
    • [クエリ記録] タブで、実行したクエリリストを確認できます。
      cloudhadoop-hue1_ko

ブラウザ照会

上部のメニューバーで左側のメニューアイコンをクリックし、ブラウザ領域で希望するブラウザをクリックします。

  • ファイルブラウザ
    • HDFSファイル照会
    • hdfsの基本ディレクトリアドレス: hdfs://user/アカウント名
    • アカウント名の先頭や rootのスラッシュをクリックすると移動可能
    • [新規作成] : 新しいファイルやディレクトリを作成
    • [アップロード] : 現在のディレクトリにファイルをアップロード
      cloudhadoop-hue2_ko
参考

Unauthorized connection for super-user: rootエラーが発生する場合、Ambari UI > HDFS > CONFIGS > ADVANCED > Custom core-siteで以下の値を *に変更した後、サービスを再起動してください。

  • hadoop.proxyuser.root.groups
  • hadoop.proxyuser.root.hosts

  • S3ブラウザ

    • ユーザーの API Access Keyで認証できるすべてのバケットを照会
    • S3の基本ディレクトリアドレス: s3a://バケット名
    • rootのスラッシュをクリックすると移動可能
    • [新規作成] : 新しいファイルやディレクトリを作成
    • [アップロード] : 現在のディレクトリにファイルをアップロード
      cloudhadoop-hue3_ko

  • テーブルブラウザ

    • Hiveで作成したデータベースとテーブルを照会
      cloudhadoop-hue4_ko