コンソールアプリケーション別 Webアクセス

Prev Next

VPC環境で利用できます。

NAVERクラウドプラットフォームの Cloud Hadoopで提供する Web UI(Ambari、Hueなど)を利用し、Cloud Hadoopクラスタの情報とステータスを管理できます。

参考

HDFS NameNode UIなどの一部の Web UIは SSHトンネリングを介してのみアクセスできる場合があります。詳細は、トンネリングを利用した Web UIアクセスガイドをご参照ください。

事前タスク

クラスタノードにアクセスするには、以下のような準備が必要です。

項目 説明 ガイド
SSL VPN設定 外部から NAVERクラウドプラットフォーム内部に構成されたネットワークにセキュアアクセス
  • Subnetの Route Tableへの VPN帯域追加
  • SSL VPNクライアントのダウンロードとインストール、実行
ACG設定 当該クラスタの ACG設定にアクセスするデバイスの固定 IPアドレスおよびアクセスするページの許可ポートを追加
  • アクセスソース: ユーザーの固定 IPアドレス( [myIp] ボタンをクリックして入力可能)
  • 許可ポート: Ambariの場合は8443、HDFS NameNodeの場合は8421
ファイアウォール設定(ACG)
認証キー 当該クラスタへのアクセスに必要な秘密鍵(.pem) クラスタの直接アクセス認証キーの管理
ドメイン 当該クラスタノードへのアクセスに必要なドメイン。クラスタの詳細情報のドメイン項目で確認可能 クラスタの詳細情報確認

1. SSL VPN設定

外部から NAVERクラウドプラットフォーム内部に構成されたネットワークにセキュアアクセスするには、事前に SSL VPNを設定する必要があります。
SSL VPNの設定に関する詳細は、SSL VPNの設定をご参照ください。

2. ACGルール設定

クラスタの ACGルールを変更する方法は、次の通りです。

  1. NAVERクラウドプラットフォームコンソールの VPC環境で、 i_menu > Services > Compute > Server > ACGメニューを順にクリックします。
  2. アクセスしたいクラスタの ACGを選択し、 [ACG設定] ボタンをクリックします。
    cloudhadoop-server-acg1_ko
  3. 次の4つの情報を入力し、ACG Ruleを追加します。
    • プロトコル: TCP
    • アクセスソース: SSH通信を行うローカルデバイスの IPアドレス
    • 許可ポート: Ambariの場合は8443、HDFS NameNodeの場合は8421
    • メモ(選択)
      cloudhadoop-server-acg2_ko
参考
  • クラスタのバージョン別、タイプ別 Application web UIリスト
    Cloud Hadoopクラスタバージョン別、タイプ別に提供される Application Web UIは、次の通りです。

  • Cloud Hadoopクラスタバージョン1.3、1.4

クラスタのバージョン クラスタ Type クラスタ add-on Application Web Application Web Reference Site
1.3
1.4
Core Hadoop デフォルトで提供 Ambari Web Console https://ambari.apache.org/
Core Hadoop デフォルトで提供 Hue Admin https://gethue.com/
Core Hadoop デフォルトで提供 Zeppelin Notebook https://zeppelin.apache.org/
Core Hadoop デフォルトで提供 Ranger https://ranger.apache.org
HBase デフォルトで提供 Ambari Web Console https://ambari.apache.org/
HBase デフォルトで提供 Ranger https://ranger.apache.org
Spark デフォルトで提供 Ambari Web Console https://ambari.apache.org/
Spark デフォルトで提供 Hue Admin https://gethue.com/
Spark デフォルトで提供 Zeppelin Notebook https://zeppelin.apache.org/
Spark デフォルトで提供 Ranger https://ranger.apache.org
Presto デフォルトで提供 Ambari Web Console https://ambari.apache.org/
Presto デフォルトで提供 Hue Admin https://gethue.com/
Presto デフォルトで提供 Zeppelin Notebook https://zeppelin.apache.org/
Presto デフォルトで提供 Presto Coordinator https://prestodb.io/
Presto デフォルトで提供 Ranger https://ranger.apache.org
  • Cloud Hadoopクラスタバージョン1.5、1.6、1.7、1.8、1.9、2.0、2.1、2.2、2.3
クラスタのバージョン クラスタ Type クラスタ add-on Application Web Application Web Reference Site
1.5
1.6
1.7
1.8
1.9
2.0
2.1
2.2
2.3
Core Hadoop with Spark デフォルトで提供 Ambari Web Console https://ambari.apache.org/
Core Hadoop with Spark デフォルトで提供 Hue Admin https://gethue.com/
Core Hadoop with Spark デフォルトで提供 Zeppelin Notebook https://zeppelin.apache.org/
Core Hadoop with Spark デフォルトで提供 Ranger https://ranger.apache.org/
Core Hadoop with Spark デフォルトで提供 Namenode https://hadoop.apache.org/
Core Hadoop with Spark デフォルトで提供 Yarn Timeline Server https://hadoop.apache.org/
Core Hadoop with Spark デフォルトで提供 Yarn Resource Manager https://hadoop.apache.org/
Core Hadoop with Spark デフォルトで提供 Tez https://tez.apache.org/
Core Hadoop with Spark デフォルトで提供 Oozie https://oozie.apache.org/
Core Hadoop with Spark デフォルトで提供 Spark History Server https://spark.apache.org/
Core Hadoop with Spark Presto Presto Coordinator https://prestodb.io/
Core Hadoop with Spark HBase HBase Master https://hbase.apache.org/
Core Hadoop with Spark Impala Impala Server, Impala Statestore, Impala Catalog https://impala.apache.org/
Core Hadoop with Spark Kudu Kudu Master https://kudu.apache.org/
Core Hadoop with Spark Trino Trino Coordinator https://trino.io/
Core Hadoop with Spark NiFi NiFi https://nifi.apache.org/
注意

Cloud Hadoop 1.5から提供される Namenode UIの File Browserアップロード機能は使用できません。Hueを利用してアップロードします。

Web UIアクセス

DNSを使用して各 Web UIにアクセスできます。

参考

Cloud Hadoop 2.1から SSOの連携により Web UIにアクセスするには NCloudアカウントログインの認証を完了する必要があります。

利用可能な Web UIにアクセスする方法は、次の通りです。

  1. NAVERクラウドプラットフォームコンソールの VPC環境で、 i_menu > Services > Big Data & Analytics > Cloud Hadoopメニューを順にクリックします。
  2. クラスタリストで Web UIにアクセスするクラスタを選択し、 [Application別に見る] ボタンをクリックします。
  3. ポップアップの Web UIリストで、備考欄にある Web UIリンクをクリックします。
  4. 当該 NCloudログイン認証ページで NCloudアカウントでログインしてアクセスします。
    chadoop-sso-1-1
注意

SSLセキュリティポリシーの強化により、ユーザー環境が Mac OS Catalina、Chromeの場合は、Self-signed証明書で URLにアクセスするとエラーが発生することがあります。そのエラー画面の空いた空間をクリックし、キーボードでthisisunsafeと入力するとアクセスできます。

chadoop-3-3-06-vpc_ko

Mozilla Firefoxブラウザでは、以下のような警告メッセージが表示されます。[高級] ボタンをクリックし、 [リスクを承知の上で続行] ボタンをクリックします。

chadoop-3-3-07-1-vpc_ko

chadoop-3-3-07-2-vpc_ko

参考

Kerberizeを行った後は、Web UIページにアクセスする際に Kerberos認証が追加されます。Kerberizeに関する詳細は、Secure Hadoopの構成(オプション)ガイドをご参照ください。

Private IPでアクセス

SSL VPNをオンにした状態で各ノードの Private IPを使ってアクセスできます。Ambari UIの各メニューの Quick Linksリンクをクリックすると、ホストの Private IPではなく FQDNを使用します。FQDNを Private IPに置換してアクセスしてください。

パスワード変更

Ambari

Ambari UIアクセスパスワードの変更は Cloud Hadoopコンソールの [クラスタ管理] > クラスタ管理者パスワードの初期化メニューを使用して設定できます。
詳細は、クラスタ管理者パスワードの初期化をご参照ください。
chadoop-3-3-04_ko

Hue

Hueは自動的に LDAPと同期しないため、Secure Hadoop環境で初めて Hueを作成した場合、Hue UIを通じて直接 LDAPアカウントを同期する必要があります。

LDAPアカウントを同期する方法は、次の通りです。

  1. ログインタイプを LDAPからローカルに変更します。
    chadoop-3-3-zeppelin_ko
  2. [Manage Users] ボタンをクリックします。
    chadoop-3-3-zeppelin_ko
  3. [Sync LDAP users/groups] ボタンをクリックして同期を実行します。
    chadoop-3-3-zeppelin_ko

パスワード変更

Hue UIのアクセスパスワードを変更する方法は、次の通りです。

  1. PuTTYを実行し、SSHでエッジノードにアクセスします。(SSHでクラスタノードにアクセスガイドを参照)
  2. LOCALアカウントや LDAPアカウントに応じて、以下のコマンドのいずれかを実行してパスワードを変更します。
  • LOCALアカウント

    $ cd /usr/hdp/3.1.0.0-78/hue/build/env/bin  # Cloud Hadoop 1.x
    $ cd /usr/nch/3.1.0.0-78/hue/build/env/bin  # Cloud Hadoop 2.x
    
    $ pwd
    
    $ sudo -s   # root
    
    $ echo "from django.contrib.auth.models import User; 
    u = User.objects.get(username='既存ユーザー名');
    u.set_password('新しいパスワード');
    u.save()
    " | ./hue shell
    

    または、以下のようにhue changepasswordコマンドを用いてパスワードを変更します。

    $ cd /usr/hdp/3.1.0.0-78/hue/build/env/bin  # Cloud Hadoop 1.x
    $ cd /usr/nch/3.1.0.0-78/hue/build/env/bin  # Cloud Hadoop 2.x
    
    $ sudo ./hue changepassword '既存ユーザー名'
    Changing password for user '既存ユーザー名'
    Password:
    Password (again):
    Password changed successfully for user '既存ユーザー名'      
    
  • LDAPアカウント

    • ldapmodify コマンドを使用して変更します。
      ldif=/tmp/modify-account.ldif
      HASH_USER_PW=$(slappasswd -h "{SSHA}" -s "新規_パスワード")
      
      cat <<EOF | tee $ldif
      dn: uid=アカウント名,ou=users,dc=USER,dc=GUIDE
      changetype: modify
      replace: userPassword
      userPassword: ${HASH_USER_PW}
      EOF
      
      ldapmodify \
        -H ldap://localhost:389 \
        -D "cn=root,dc=USER,dc=GUIDE" \
        -w "ケルベロス_パスワード" \
        -f "$ldif"
      

Zeppelin Notebook

Cloud Hadoopでは、Zeppelin Notebookを Ambariで管理しています。
そのため、直接クラスタにアクセスしてファイルを変更したり、スクリプトを実行するよりは Ambari UIにアクセスしてタスクを行うことをお勧めします。

Zeppelin Notebookのパスワードを変更する方法は、次の通りです。

  1. Ambari UIにアクセスし、クラスタ管理者アカウント IDとパスワードでログインします。
  2. 左のサイドバーで Zeppelin Notebookをクリックします。
  3. 上段の [CONFIGS] タブをクリックします。
  4. Advanced-zeppelin-shiro-ini項目をクリックし、以下のようにパスワードを変更します。
    chadoop-3-3-zeppelin_ko
  5. 右下の [SAVE] ボタンをクリックします。
  6. 右上の [ACTIONS] > Restart Allをクリックし、ポップアップの [CONFIRM RESTART ALL] ボタンをクリックします。

上記の手順でタスクを行って Zeppelin Notebookにアクセスすると、パスワードの変更が適用されたことが確認できます。