---
title: "Spark History Server を使用する"
slug: "df-shs"
tags: ["Data Forest", "vpc"]
updated: 2026-09-17T09:25:49Z
published: 2026-09-17T09:25:49Z
canonical: "guide.ncloud-docs.com/df-shs"
---

> ## Documentation Index
> Fetch the complete documentation index at: https://guide.ncloud-docs.com/llms.txt
> Use this file to discover all available pages before exploring further.

# Spark History Server を使用する

VPC環境で利用できます。

Spark History Serverアプリで個人用 Spark History Serverを作成し、自分が実行したタスクのみ確認できます。Data Forestでは SPARK-HISTORYSERVER-3.1.2アプリタイプをサポートします。

## Spark History Serverアプリの詳細情報確認

アプリの作成が完了すると、詳細情報を確認できます。アプリの詳細情報の **Status**が **Stable**の場合、アプリが正常に起動されたことを意味します。 アプリの詳細情報を確認する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールの VPC環境で、**Menu** > **All Services** > **Big Data & Analytics** > **Data Forest**メニューを順にクリックします。
2. 左側の **Data Forest > Apps**メニューをクリックします。
3. アプリを所有するアカウントを選択します。
4. 詳細情報を確認するアプリをクリックします。
5. アプリの詳細情報を確認します。  

![df-shs_2-1_updated_ko](https://cdn.document360.io/6998976f-9d95-4df8-b847-d375892b92c2/Images/Documentation/df-shs_2-1_updated_ja.png?sv=2026-02-06&spr=https&st=2026-10-26T13%3A31%3A02Z&se=2026-10-26T14%3A31%3A02Z&sr=c&sp=r&sig=T48CZWNLD5zojtvqBoFWs00JHKYzLM35TGkko6VsGMo%3D)
  - **Quick links**
    - **Spark History REST API**: Spark History Serverで提供する REST API
    - **Spark History UI**: Spark History UIにアクセスできる URL
    - **shell-shs-0**: Spark Historyがインストールされたコンテナのウェブシェル(Web shell)の URL。ユーザーのアカウント名とパスワードでログイン
    - **supervisor-shs-0**: Supervisorがインストールされたコンテナのウェブシェルの URL。ユーザーのアカウント名とパスワードでログイン
  - **コンポーネント**: SPARK-HISTROYSERVER-3.1.2タイプは、**shs**コンポーネント1つで構成されます。
    - **shs**: デフォルト値で1Core/4GBのメモリをリクエストして起動

## Spark History Serverアクセス

**Quick links**リストから **Spark History UI** URLにアクセスした画面は、次の通りです。

![df-shs_04-1_vpc](https://cdn.document360.io/6998976f-9d95-4df8-b847-d375892b92c2/Images/Documentation/df-shs_04-1_vpc.png?sv=2026-02-06&spr=https&st=2026-10-26T13%3A31%3A02Z&se=2026-10-26T14%3A31%3A02Z&sr=c&sp=r&sig=T48CZWNLD5zojtvqBoFWs00JHKYzLM35TGkko6VsGMo%3D)

Spark History Serverは REST APIを提供します。 アプリ詳細情報の **Quick links**リストから **Spark History REST API** URLにアクセスします。 アクセスした画面は、次の通りです。

![df-shs_05-1_vpc](https://cdn.document360.io/6998976f-9d95-4df8-b847-d375892b92c2/Images/Documentation/df-shs_05-1_vpc.png?sv=2026-02-06&spr=https&st=2026-10-26T13%3A31%3A02Z&se=2026-10-26T14%3A31%3A02Z&sr=c&sp=r&sig=T48CZWNLD5zojtvqBoFWs00JHKYzLM35TGkko6VsGMo%3D)

ウェブシェルで REST APIを使う場合は、上で確認した **Spark History REST API**アドレスを利用して以下のように使用できます。以下は dataforest-testユーザーの例です。

```
$ curl -i -u ys https://dataforest-test--sparkhs-new--shs--18080.proxy.kr.df.naverncp.com/api/v1/version

Enter host password for user 'dataforest-test':
HTTP/1.1 200 OK
Server: nginx/1.14.0
Date: Fri, 14 Oct 2022 08:14:24 GMT
Content-Type: application/json
Content-Length: 25
Connection: keep-alive
Set-Cookie: hadoop.auth="u=dataforest-test&p=dataforest-test&t=authnz-ldap&e=1665771263843&s=v37ewQQe7TSTjntpg5rqUfZsRrRuCvfQux0P2onFy7I="; HttpOnly
Cache-Control: no-cache, no-store, must-revalidate
X-Frame-Options: SAMEORIGIN
X-XSS-Protection: 1; mode=block
X-Content-Type-Options: nosniff
Vary: Accept-Encoding, User-Agent

{
  "spark" : "3.1.2-1"
}
```

## Sparkタスクの設定

個人用 Spark History Serverを使用するには、Sparkに以下のように入力してタスク設定を完了してください。

- **spark.eventLog.enabledspark.eventLog.enabled** : `true`
- **spark.eventLog.dir**: History Serverアプリの spark.history.fs.logDirectory設定と同じです。`hdfs://koya/user/{USER}/spark2-history/` がデフォルトで設定されており、`{USER}`にはユーザーアカウント名を入れて作成します。
- **spark.yarn.historyServer.address**: ヒストリーサーバアドレスです。アプリを作成した後、**Quick links**で Spark History UIの URLを入力します。

例) dataforest-testユーザーのユースケースは、次の通りです。

| Property Name | Info |
| --- | --- |
| spark.eventLog.enabled | `true` |
| spark.eventLog.dir | `hdfs://koya/user/dataforest-test/spark2-history/` |
| spark.yarn.historyServer.address | `https://dataforest-test--spark-historyserver--shs--18080.proxy.kr.df.naverncp.com` |

設定変更後にタスクを提出すると、個人用 Spark History Serverで提出したタスク情報を照会できます。

## 個人用 Sparkの設定変更タスク

個人用 Sparkタスクの設定を追加する方法は、次の通りです。

```
$ vi $SPARK_CONF_DIR/spark-defaults.conf
...
spark.eventLog.dir hdfs://koya/user/dataforest-test/spark2-history/
spark.eventLog.enabled true
spark.yarn.historyServer.address={Spark History UI}
...
```

              参考

              

ウェブシェルを使用する場合、以下の設定ファイルを変更して使用してください。

```
  $ cd ~/conf
  $ vi spark-defaults.conf # 構成変更
```

## Pyspark、spark-shellの実行

Pysparkと spark-shellを実行する方法は、次の通りです。

1. Pysparkを実行する際、以下のオプションを追加して実行します。

```
$ pyspark --conf spark.driver.extraJavaOptions=-Dhdp.version=3.1.0.0-78 \
--conf spark.yarn.am.extraJavaOptions=-Dhdp.version=3.1.0.0-78 \
--conf spark.executorEnv.YARN_CONTAINER_RUNTIME_DOCKER_MOUNTS=/usr/hdp:/usr/hdp:ro
```

1. spark-shellも以下のコマンドで実行します。

```
spark-shell --conf spark.driver.extraJavaOptions=-Dhdp.version=3.1.0.0-78 \
--conf spark.yarn.am.extraJavaOptions=-Dhdp.version=3.1.0.0-78 \
--conf spark.executorEnv.YARN_CONTAINER_RUNTIME_DOCKER_MOUNTS=/usr/hdp:/usr/hdp:ro
--conf spark.kerberos.access.hadoopFileSystems=hdfs://<使用するネームノードを指定>
```

### Zeppelinを使用する場合

Apache Zeppelinの Sparkインタプリタで個人用 Spark History Serverアプリを使用できます。[Zeppelin を使用する > Interpreter設定](/docs/ja/df-zeppelin#interpreter-%EC%84%A4%EC%A0%95)の spark.yarn.queueの設定方法を参照し、ヒストリーサーバ関連の設定を追加してください。