Documentation Index

Fetch the complete documentation index at: https://guide.ncloud-docs.com/llms.txt

Use this file to discover all available pages before exploring further.

コンソールアプリケーション別 Webアクセス

Prev Next

VPC環境で利用できます。

NAVERクラウドプラットフォームの Cloud Hadoopで提供する Web UI(Ambari、Hueなど)を利用し、Cloud Hadoopクラスタの情報とステータスを管理できます。

参考

HDFS NameNode UIなどの一部の Web UIは SSHトンネリングを介してのみアクセスできる場合があります。詳細は、トンネリングを利用した Web UIアクセスガイドをご参照ください。

事前タスク

クラスタノードにアクセスするには、以下のような準備が必要です。

項目 説明 ガイド
SSL VPN設定 外部から NAVERクラウドプラットフォーム内部に構成されたネットワークにセキュアアクセス
  • Subnetの Route Tableへの VPN帯域追加
  • SSL VPNクライアントのダウンロードとインストール、実行
ACG設定 当該クラスタの ACG設定にアクセスするデバイスの固定 IPアドレスおよびアクセスするページの許可ポートを追加
  • アクセスソース: ユーザーの固定 IPアドレス( [myIp] ボタンをクリックして入力可能)
  • 許可ポート: Ambariの場合は8443、HDFS NameNodeの場合は8421
ファイアウォール設定(ACG)
認証キー 当該クラスタへのアクセスに必要な秘密鍵(.pem) クラスタの直接アクセス認証キーの管理
ドメイン 当該クラスタノードへのアクセスに必要なドメイン。クラスタの詳細情報のドメイン項目で確認可能 クラスタの詳細情報確認

1. SSL VPN設定

外部から NAVERクラウドプラットフォーム内部に構成されたネットワークにセキュアアクセスするには、事前に SSL VPNを設定する必要があります。
SSL VPNの設定に関する詳細は、SSL VPNの設定をご参照ください。

2. ACGルール設定

クラスタの ACGルールを変更する方法は、次の通りです。

  1. NAVERクラウドプラットフォームコンソールの VPC環境で、 Menu > Services > Compute > Server > ACGメニューを順にクリックします。
  2. アクセスしたいクラスタの ACGを選択し、 [ACG設定] ボタンをクリックします。
    cloudhadoop-server-acg1_ko
  3. 次の4つの情報を入力し、ACG Ruleを追加します。
    • プロトコル: TCP
    • アクセスソース: SSH通信を行うローカルデバイスの IPアドレス
    • 許可ポート: Ambariの場合は8443、HDFS NameNodeの場合は8421
    • メモ(選択)
      cloudhadoop-server-acg2_ko
参考
  • クラスタのバージョン別、タイプ別 Application web UIリスト
    Cloud Hadoopクラスタバージョン別、タイプ別に提供される Application Web UIは、次の通りです。

  • Cloud Hadoopクラスタバージョン1.3、1.4

クラスタのバージョン クラスタ Type クラスタ add-on Application Web Application Web Reference Site
1.3
1.4
Core Hadoop デフォルトで提供 Ambari Web Console https://ambari.apache.org/
Core Hadoop デフォルトで提供 Hue Admin https://gethue.com/
Core Hadoop デフォルトで提供 Zeppelin Notebook https://zeppelin.apache.org/
Core Hadoop デフォルトで提供 Ranger https://ranger.apache.org
HBase デフォルトで提供 Ambari Web Console https://ambari.apache.org/
HBase デフォルトで提供 Ranger https://ranger.apache.org
Spark デフォルトで提供 Ambari Web Console https://ambari.apache.org/
Spark デフォルトで提供 Hue Admin https://gethue.com/
Spark デフォルトで提供 Zeppelin Notebook https://zeppelin.apache.org/
Spark デフォルトで提供 Ranger https://ranger.apache.org
Presto デフォルトで提供 Ambari Web Console https://ambari.apache.org/
Presto デフォルトで提供 Hue Admin https://gethue.com/
Presto デフォルトで提供 Zeppelin Notebook https://zeppelin.apache.org/
Presto デフォルトで提供 Presto Coordinator https://prestodb.io/
Presto デフォルトで提供 Ranger https://ranger.apache.org
  • Cloud Hadoopクラスタバージョン1.5、1.6、1.7、1.8、1.9、2.0、2.1、2.2、2.3
クラスタのバージョン クラスタ Type クラスタ add-on Application Web Application Web Reference Site
1.5
1.6
1.7
1.8
1.9
2.0
2.1
2.2
2.3
Core Hadoop with Spark デフォルトで提供 Ambari Web Console https://ambari.apache.org/
Core Hadoop with Spark デフォルトで提供 Hue Admin https://gethue.com/
Core Hadoop with Spark デフォルトで提供 Zeppelin Notebook https://zeppelin.apache.org/
Core Hadoop with Spark デフォルトで提供 Ranger https://ranger.apache.org/
Core Hadoop with Spark デフォルトで提供 Namenode https://hadoop.apache.org/
Core Hadoop with Spark デフォルトで提供 Yarn Timeline Server https://hadoop.apache.org/
Core Hadoop with Spark デフォルトで提供 Yarn Resource Manager https://hadoop.apache.org/
Core Hadoop with Spark デフォルトで提供 Tez https://tez.apache.org/
Core Hadoop with Spark デフォルトで提供 Oozie https://oozie.apache.org/
Core Hadoop with Spark デフォルトで提供 Spark History Server https://spark.apache.org/
Core Hadoop with Spark Presto Presto Coordinator https://prestodb.io/
Core Hadoop with Spark HBase HBase Master https://hbase.apache.org/
Core Hadoop with Spark Impala Impala Server, Impala Statestore, Impala Catalog https://impala.apache.org/
Core Hadoop with Spark Kudu Kudu Master https://kudu.apache.org/
Core Hadoop with Spark Trino Trino Coordinator https://trino.io/
Core Hadoop with Spark NiFi NiFi https://nifi.apache.org/
注意

Cloud Hadoop 1.5から提供される Namenode UIの File Browserアップロード機能は使用できません。Hueを利用してアップロードします。

Web UIアクセス

DNSを使用して各 Web UIにアクセスできます。

参考

Cloud Hadoop 2.1から SSOの連携により Web UIにアクセスするには NCloudアカウントログインの認証を完了する必要があります。

利用可能な Web UIにアクセスする方法は、次の通りです。

  1. NAVERクラウドプラットフォームコンソールの VPC環境で、 Menu > Services > Big Data & Analytics > Cloud Hadoopメニューを順にクリックします。
  2. クラスタリストで Web UIにアクセスするクラスタを選択し、 [Application別に見る] ボタンをクリックします。
  3. ポップアップの Web UIリストで、備考欄にある Web UIリンクをクリックします。
  4. 当該 NCloudログイン認証ページで NCloudアカウントでログインしてアクセスします。
    chadoop-sso-1-1
注意

SSLセキュリティポリシーの強化により、ユーザー環境が Mac OS Catalina、Chromeの場合は、Self-signed証明書で URLにアクセスするとエラーが発生することがあります。そのエラー画面の空いた空間をクリックし、キーボードでthisisunsafeと入力するとアクセスできます。

chadoop-3-3-06-vpc_ko

Mozilla Firefoxブラウザでは、以下のような警告メッセージが表示されます。[高級] ボタンをクリックし、 [リスクを承知の上で続行] ボタンをクリックします。

chadoop-3-3-07-1-vpc_ko

chadoop-3-3-07-2-vpc_ko

参考

Kerberizeを行った後は、Web UIページにアクセスする際に Kerberos認証が追加されます。Kerberizeに関する詳細は、Secure Hadoopの構成(オプション)ガイドをご参照ください。

Private IPでアクセス

SSL VPNをオンにした状態で各ノードの Private IPを使ってアクセスできます。Ambari UIの各メニューの Quick Linksリンクをクリックすると、ホストの Private IPではなく FQDNを使用します。FQDNを Private IPに置換してアクセスしてください。

パスワード変更

Ambari

Ambari UIアクセスパスワードの変更は Cloud Hadoopコンソールの [クラスタ管理] > クラスタ管理者パスワードの初期化メニューを使用して設定できます。
詳細は、クラスタ管理者パスワードの初期化をご参照ください。
chadoop-3-3-04_ko

Hue

Hueは自動的に LDAPと同期しないため、Secure Hadoop環境で初めて Hueを作成した場合、Hue UIを通じて直接 LDAPアカウントを同期する必要があります。

LDAPアカウントを同期する方法は、次の通りです。

  1. ログインタイプを LDAPからローカルに変更します。
    chadoop-3-3-zeppelin_ko
  2. [Manage Users] ボタンをクリックします。
    chadoop-3-3-zeppelin_ko
  3. [Sync LDAP users/groups] ボタンをクリックして同期を実行します。
    chadoop-3-3-zeppelin_ko

パスワード変更

Hue UIのアクセスパスワードを変更する方法は、次の通りです。

  1. PuTTYを実行し、SSHでエッジノードにアクセスします。(SSHでクラスタノードにアクセスガイドを参照)
  2. LOCALアカウントや LDAPアカウントに応じて、以下のコマンドのいずれかを実行してパスワードを変更します。
  • LOCALアカウント

    $ cd /usr/hdp/3.1.0.0-78/hue/build/env/bin  # Cloud Hadoop 1.x
    $ cd /usr/nch/3.1.0.0-78/hue/build/env/bin  # Cloud Hadoop 2.x
    
    $ pwd
    
    $ sudo -s   # root
    
    $ echo "from django.contrib.auth.models import User; 
    u = User.objects.get(username='既存ユーザー名');
    u.set_password('新しいパスワード');
    u.save()
    " | ./hue shell
    

    または、以下のようにhue changepasswordコマンドを用いてパスワードを変更します。

    $ cd /usr/hdp/3.1.0.0-78/hue/build/env/bin  # Cloud Hadoop 1.x
    $ cd /usr/nch/3.1.0.0-78/hue/build/env/bin  # Cloud Hadoop 2.x
    
    $ sudo ./hue changepassword '既存ユーザー名'
    Changing password for user '既存ユーザー名'
    Password:
    Password (again):
    Password changed successfully for user '既存ユーザー名'      
    
  • LDAPアカウント

    • ldapmodify コマンドを使用して変更します。
      ldif=/tmp/modify-account.ldif
      HASH_USER_PW=$(slappasswd -h "{SSHA}" -s "新規_パスワード")
      
      cat <<EOF | tee $ldif
      dn: uid=アカウント名,ou=users,dc=USER,dc=GUIDE
      changetype: modify
      replace: userPassword
      userPassword: ${HASH_USER_PW}
      EOF
      
      ldapmodify \
        -H ldap://localhost:389 \
        -D "cn=root,dc=USER,dc=GUIDE" \
        -w "ケルベロス_パスワード" \
        -f "$ldif"
      

Zeppelin Notebook

Cloud Hadoopでは、Zeppelin Notebookを Ambariで管理しています。
そのため、直接クラスタにアクセスしてファイルを変更したり、スクリプトを実行するよりは Ambari UIにアクセスしてタスクを行うことをお勧めします。

Zeppelin Notebookのパスワードを変更する方法は、次の通りです。

  1. Ambari UIにアクセスし、クラスタ管理者アカウント IDとパスワードでログインします。
  2. 左のサイドバーで Zeppelin Notebookをクリックします。
  3. 上段の [CONFIGS] タブをクリックします。
  4. Advanced-zeppelin-shiro-ini項目をクリックし、以下のようにパスワードを変更します。
    chadoop-3-3-zeppelin_ko
  5. 右下の [SAVE] ボタンをクリックします。
  6. 右上の [ACTIONS] > Restart Allをクリックし、ポップアップの [CONFIRM RESTART ALL] ボタンをクリックします。

上記の手順でタスクを行って Zeppelin Notebookにアクセスすると、パスワードの変更が適用されたことが確認できます。