Classic環境で利用できます。
Apache Ambariは、簡単なウェブUIとREST APIを提供してHadoopクラスタの管理とモニタリングを簡素化します。 このガイドでは、Ambari REST APIの使用方法について説明します。 Ambari REST APIの詳細情報は、Ambari APIリファレンスv1をご参照ください。
Ambari REST APIのURI作成
以下のようにAmbari REST APIのURIを作成します。
AMBARI-ADDRESS：グローバルIPまたはPublicドメインを入力CLUSTER-NAME：クラスタの名前(クラスタ名は大文字・小文字を区分するため、確認が必要)
http://<AMBARI-ADDRESS>:8080/api/v1/clusters/<CLUSTER-NAME>
Ambari REST APIのリクエスト
cURLを用いてAmbari REST APIにGETリクエストを行います。
example/pass123!@#：Ambariの管理者アカウント
curl -u "example:pass123!@#" -G "http://pub-68u67.hadoop.ntruss.com:8080/api/v1/clusters/test-spark"
上記のクラスタ情報を用いてREST APIを実行すると、以下のJSON文書が返されます。
# cURLの実行
curl -u obj -G "http://pub-68u67.hadoop.ntruss.com:8080/api/v1/clusters/test-spark"
{
"href" : "http://pub-68u67.hadoop.ntruss.com:8080/api/v1/clusters/test-spark",
"Clusters" : {
"cluster_id" : 2,
"cluster_name" : "SPARK",
"health_report" : {
"Host/stale_config" : 0,
"Host/maintenance_state" : 0,
"Host/host_state/HEALTHY" : 3,
"Host/host_state/UNHEALTHY" : 0,
"Host/host_state/HEARTBEAT_LOST" : 0,
"Host/host_state/INIT" : 0,
"Host/host_status/HEALTHY" : 3,
"Host/host_status/UNHEALTHY" : 0,
"Host/host_status/UNKNOWN" : 0,
"Host/host_status/ALERT" : 0
....
jqコマンドによる戻り値のパース
jqを用い、REST APIの結果として返されるJSON文書を一部フィルタリングするか、変換することができます。 以下は、jqを用いてJSON結果の中でClustersのhealth_report情報だけフィルタリングする例です。
curl -u "example:pass123!@#" -G "http://pub-68u67.hadoop.ntruss.com:8080/api/v1/clusters/test-spark" | jq ".Clusters.health_report"
{
"Host/stale_config": 0,
"Host/maintenance_state": 0,
"Host/host_state/HEALTHY": 4,
"Host/host_state/UNHEALTHY": 0,
"Host/host_state/HEARTBEAT_LOST": 0,
"Host/host_state/INIT": 0,
"Host/host_status/HEALTHY": 4,
"Host/host_status/UNHEALTHY": 0,
"Host/host_status/UNKNOWN": 0,
"Host/host_status/ALERT": 0
}
使用例
すべてのノードのFQDN(完全修飾ドメイン名)の特定
curl -u "example:pass123!@#" -G "http://pub-68u67.hadoop.ntruss.com:8080/api/v1/clusters/test-spark/hosts" | jq ".items[].Hosts.host_name"
マスターノードのFQDNの特定
curl -u "example:pass123!@#" -G "http://pub-68u67.hadoop.ntruss.com:8080/api/v1/clusters/test-spark/services/HDFS/components/NAMENODE" | jq ".host_components[].HostRoles.host_name"
ワーカーノードのFQDNの特定
curl -u "example:pass123!@#" -G "http://pub-68u67.hadoop.ntruss.com:8080/api/v1/clusters/test-spark/services/HDFS/components/DATANODE" | jq ".host_components[].HostRoles.host_name"
クラスタノード内部のIPアドレスの特定
IPアドレスを特定するには、クラスタノード内部のFQDNが必要です。 先にAmbariにクエリしてホストノードのFQDNを取得し、再びAmbariにクエリして各ホストのIPアドレスを取得します。
curl -u "example:pass123!@#" -G "http://pub-68u67.hadoop.ntruss.com:8080/api/v1/clusters/test-spark/hosts/d-002-test-spark-36m-hd" | jq ".Hosts.ip"
default.FSの特定
Cloud Hadoopは、デフォルトの保存場所としてObject Storageを使用しており、APIの結果値はhdfs://<クラスタ名(namespace名)>で返されます。
curl -u "example:pass123!@#" -G "http://pub-68u67.hadoop.ntruss.com:8080/api/v1/clusters/test-spark/configurations/service_config_versions?service_name=HDFS&service_config_version=1" | jq ".items[].configurations[].properties["fs.defaultFS"] | select(. != null)"