VPC環境で利用できます。
NAVERクラウドプラットフォームの Cloud Hadoopで提供する Web UI(Ambari、Hueなど)を利用し、Cloud Hadoopクラスタの情報とステータスを管理できます。
HDFS NameNode UIなどの一部の Web UIは SSHトンネリングを介してのみアクセスできる場合があります。詳細は、トンネリングを利用した Web UIアクセスガイドをご参照ください。
事前タスク
クラスタノードにアクセスするには、以下のような準備が必要です。
| 項目 | 説明 | ガイド |
|---|---|---|
| SSL VPN設定 | 外部から NAVERクラウドプラットフォーム内部に構成されたネットワークにセキュアアクセス
|
|
| ACG設定 | 当該クラスタの ACG設定にアクセスするデバイスの固定 IPアドレスおよびアクセスするページの許可ポートを追加
|
ファイアウォール設定(ACG) |
| 認証キー | 当該クラスタへのアクセスに必要な秘密鍵(.pem) | クラスタの直接アクセス認証キーの管理 |
| ドメイン | 当該クラスタノードへのアクセスに必要なドメイン。クラスタの詳細情報のドメイン項目で確認可能 | クラスタの詳細情報確認 |
1. SSL VPN設定
外部から NAVERクラウドプラットフォーム内部に構成されたネットワークにセキュアアクセスするには、事前に SSL VPNを設定する必要があります。
SSL VPNの設定に関する詳細は、SSL VPNの設定をご参照ください。
2. ACGルール設定
クラスタの ACGルールを変更する方法は、次の通りです。
- NAVERクラウドプラットフォームコンソールの VPC環境で、
> Services > Compute > Server > ACGメニューを順にクリックします。 - アクセスしたいクラスタの ACGを選択し、 [ACG設定] ボタンをクリックします。

- 次の4つの情報を入力し、ACG Ruleを追加します。
- プロトコル: TCP
- アクセスソース: SSH通信を行うローカルデバイスの IPアドレス
- 許可ポート: Ambariの場合は
8443、HDFS NameNodeの場合は8421 - メモ(選択)

-
クラスタのバージョン別、タイプ別 Application web UIリスト
Cloud Hadoopクラスタバージョン別、タイプ別に提供される Application Web UIは、次の通りです。 -
Cloud Hadoopクラスタバージョン1.3、1.4
| クラスタのバージョン | クラスタ Type | クラスタ add-on | Application Web | Application Web Reference Site |
|---|---|---|---|---|
| 1.3 1.4 |
Core Hadoop | デフォルトで提供 | Ambari Web Console | https://ambari.apache.org/ |
| Core Hadoop | デフォルトで提供 | Hue Admin | https://gethue.com/ | |
| Core Hadoop | デフォルトで提供 | Zeppelin Notebook | https://zeppelin.apache.org/ | |
| Core Hadoop | デフォルトで提供 | Ranger | https://ranger.apache.org | |
| HBase | デフォルトで提供 | Ambari Web Console | https://ambari.apache.org/ | |
| HBase | デフォルトで提供 | Ranger | https://ranger.apache.org | |
| Spark | デフォルトで提供 | Ambari Web Console | https://ambari.apache.org/ | |
| Spark | デフォルトで提供 | Hue Admin | https://gethue.com/ | |
| Spark | デフォルトで提供 | Zeppelin Notebook | https://zeppelin.apache.org/ | |
| Spark | デフォルトで提供 | Ranger | https://ranger.apache.org | |
| Presto | デフォルトで提供 | Ambari Web Console | https://ambari.apache.org/ | |
| Presto | デフォルトで提供 | Hue Admin | https://gethue.com/ | |
| Presto | デフォルトで提供 | Zeppelin Notebook | https://zeppelin.apache.org/ | |
| Presto | デフォルトで提供 | Presto Coordinator | https://prestodb.io/ | |
| Presto | デフォルトで提供 | Ranger | https://ranger.apache.org |
- Cloud Hadoopクラスタバージョン1.5、1.6、1.7、1.8、1.9、2.0、2.1、2.2、2.3
| クラスタのバージョン | クラスタ Type | クラスタ add-on | Application Web | Application Web Reference Site |
|---|---|---|---|---|
| 1.5 1.6 1.7 1.8 1.9 2.0 2.1 2.2 2.3 |
Core Hadoop with Spark | デフォルトで提供 | Ambari Web Console | https://ambari.apache.org/ |
| Core Hadoop with Spark | デフォルトで提供 | Hue Admin | https://gethue.com/ | |
| Core Hadoop with Spark | デフォルトで提供 | Zeppelin Notebook | https://zeppelin.apache.org/ | |
| Core Hadoop with Spark | デフォルトで提供 | Ranger | https://ranger.apache.org/ | |
| Core Hadoop with Spark | デフォルトで提供 | Namenode | https://hadoop.apache.org/ | |
| Core Hadoop with Spark | デフォルトで提供 | Yarn Timeline Server | https://hadoop.apache.org/ | |
| Core Hadoop with Spark | デフォルトで提供 | Yarn Resource Manager | https://hadoop.apache.org/ | |
| Core Hadoop with Spark | デフォルトで提供 | Tez | https://tez.apache.org/ | |
| Core Hadoop with Spark | デフォルトで提供 | Oozie | https://oozie.apache.org/ | |
| Core Hadoop with Spark | デフォルトで提供 | Spark History Server | https://spark.apache.org/ | |
| Core Hadoop with Spark | Presto | Presto Coordinator | https://prestodb.io/ | |
| Core Hadoop with Spark | HBase | HBase Master | https://hbase.apache.org/ | |
| Core Hadoop with Spark | Impala | Impala Server, Impala Statestore, Impala Catalog | https://impala.apache.org/ | |
| Core Hadoop with Spark | Kudu | Kudu Master | https://kudu.apache.org/ | |
| Core Hadoop with Spark | Trino | Trino Coordinator | https://trino.io/ | |
| Core Hadoop with Spark | NiFi | NiFi | https://nifi.apache.org/ |
Cloud Hadoop 1.5から提供される Namenode UIの File Browserアップロード機能は使用できません。Hueを利用してアップロードします。
Web UIアクセス
DNSを使用して各 Web UIにアクセスできます。
Cloud Hadoop 2.1から SSOの連携により Web UIにアクセスするには NCloudアカウントログインの認証を完了する必要があります。
利用可能な Web UIにアクセスする方法は、次の通りです。
- NAVERクラウドプラットフォームコンソールの VPC環境で、
> Services > Big Data & Analytics > Cloud Hadoopメニューを順にクリックします。 - クラスタリストで Web UIにアクセスするクラスタを選択し、 [Application別に見る] ボタンをクリックします。
- ポップアップの Web UIリストで、備考欄にある Web UIリンクをクリックします。
- 当該 NCloudログイン認証ページで NCloudアカウントでログインしてアクセスします。

SSLセキュリティポリシーの強化により、ユーザー環境が Mac OS Catalina、Chromeの場合は、Self-signed証明書で URLにアクセスするとエラーが発生することがあります。そのエラー画面の空いた空間をクリックし、キーボードでthisisunsafeと入力するとアクセスできます。

Mozilla Firefoxブラウザでは、以下のような警告メッセージが表示されます。[高級] ボタンをクリックし、 [リスクを承知の上で続行] ボタンをクリックします。


Kerberizeを行った後は、Web UIページにアクセスする際に Kerberos認証が追加されます。Kerberizeに関する詳細は、Secure Hadoopの構成(オプション)ガイドをご参照ください。
Private IPでアクセス
SSL VPNをオンにした状態で各ノードの Private IPを使ってアクセスできます。Ambari UIの各メニューの Quick Linksリンクをクリックすると、ホストの Private IPではなく FQDNを使用します。FQDNを Private IPに置換してアクセスしてください。
パスワード変更
Ambari
Ambari UIアクセスパスワードの変更は Cloud Hadoopコンソールの [クラスタ管理] > クラスタ管理者パスワードの初期化メニューを使用して設定できます。
詳細は、クラスタ管理者パスワードの初期化をご参照ください。

Hue
Hueは自動的に LDAPと同期しないため、Secure Hadoop環境で初めて Hueを作成した場合、Hue UIを通じて直接 LDAPアカウントを同期する必要があります。
LDAPアカウントを同期する方法は、次の通りです。
- ログインタイプを LDAPからローカルに変更します。

- [Manage Users] ボタンをクリックします。

- [Sync LDAP users/groups] ボタンをクリックして同期を実行します。

パスワード変更
Hue UIのアクセスパスワードを変更する方法は、次の通りです。
- PuTTYを実行し、SSHでエッジノードにアクセスします。(SSHでクラスタノードにアクセスガイドを参照)
- LOCALアカウントや LDAPアカウントに応じて、以下のコマンドのいずれかを実行してパスワードを変更します。
-
LOCALアカウント
$ cd /usr/hdp/3.1.0.0-78/hue/build/env/bin # Cloud Hadoop 1.x $ cd /usr/nch/3.1.0.0-78/hue/build/env/bin # Cloud Hadoop 2.x $ pwd $ sudo -s # root $ echo "from django.contrib.auth.models import User; u = User.objects.get(username='既存ユーザー名'); u.set_password('新しいパスワード'); u.save() " | ./hue shellまたは、以下のように
hue changepasswordコマンドを用いてパスワードを変更します。$ cd /usr/hdp/3.1.0.0-78/hue/build/env/bin # Cloud Hadoop 1.x $ cd /usr/nch/3.1.0.0-78/hue/build/env/bin # Cloud Hadoop 2.x $ sudo ./hue changepassword '既存ユーザー名' Changing password for user '既存ユーザー名' Password: Password (again): Password changed successfully for user '既存ユーザー名' -
LDAPアカウント
ldapmodifyコマンドを使用して変更します。ldif=/tmp/modify-account.ldif HASH_USER_PW=$(slappasswd -h "{SSHA}" -s "新規_パスワード") cat <<EOF | tee $ldif dn: uid=アカウント名,ou=users,dc=USER,dc=GUIDE changetype: modify replace: userPassword userPassword: ${HASH_USER_PW} EOF ldapmodify \ -H ldap://localhost:389 \ -D "cn=root,dc=USER,dc=GUIDE" \ -w "ケルベロス_パスワード" \ -f "$ldif"
Zeppelin Notebook
Cloud Hadoopでは、Zeppelin Notebookを Ambariで管理しています。
そのため、直接クラスタにアクセスしてファイルを変更したり、スクリプトを実行するよりは Ambari UIにアクセスしてタスクを行うことをお勧めします。
Zeppelin Notebookのパスワードを変更する方法は、次の通りです。
- Ambari UIにアクセスし、クラスタ管理者アカウント IDとパスワードでログインします。
- 左のサイドバーで Zeppelin Notebookをクリックします。
- 上段の [CONFIGS] タブをクリックします。
- Advanced-zeppelin-shiro-ini項目をクリックし、以下のようにパスワードを変更します。

- 右下の [SAVE] ボタンをクリックします。
- 右上の [ACTIONS] > Restart Allをクリックし、ポップアップの [CONFIRM RESTART ALL] ボタンをクリックします。
上記の手順でタスクを行って Zeppelin Notebookにアクセスすると、パスワードの変更が適用されたことが確認できます。