OpenTSDB を使用する

VPC環境で利用できます。

Hbaseベースで動作する OpenTSDB(Time Series DataBase)は、分散および拡張可能な時系列データベースです。
OpenTSDBはサーバ、ネットワーク、アプリケーションから収集されたメトリック情報を保存、インデックス、伝達するなどの処理のために作られました。

OpenTSDBアーキテクチャ

• TSD(Time Series Daemon): 入力されたメトリック情報を HBaseのストレージに保存する役割を担います。
• 入力ソース: サーバ、ネットワーク、アプリケーションなどから送られるメトリック情報です。
• ストレージ: HBaseを基本ストレージとして利用し、時系列データを保存します。

このガイドでは、Cloud Hadoopを利用して OpenTSDBを構築する方法を説明します。

このガイドで使用する OpenTSDBオープンソースに関する内容は、OpenTSDBをご参照ください。

事前作業

OpenTSDBをインストールするサーバを作成します。例では、Linuxサーバで使用する方法を説明します。

• サーバ作成に関する詳細は、Server を開始するガイドをご参照ください。
• Linuxサーバにアクセスする方法は、サーバアクセスガイドをご参照ください。

OpenTSDBを使用する

まず、サーバに OpenTSDBオープンソースをインストールする際に必要なシステム要件を確認します。<インストールのシステム要件> は、次の通りです。

<インストールのシステム要件>

• Java SE (JDK)
• Gnuplot
• OpenTSDB(オープンソース)

1. OpenTSDBのインストール

サーバに OpenTSDBをインストールする方法は、次の通りです。

1. 以下のコマンドを使用して Oracleサイトから JDKをダウンロードし、サーバにインストールします。

   rpm -ivh jdk-8u192-linux-x64.rpm
   

2. yumパッケージ管理者を利用して、OpenTSDBのグラフの作成に必要な gnuplot パッケージをインストールします。

   yum -y install gnuplot
   

3. ユーザーアカウントを作成します。

   useradd -m  -d /home/opentsdb -u 10001 opentsdb
   

4. ログディレクトリを作成します。

   mkdir /var/log/opentsdb && chown opentsdb:opentsdb /var/log/opentsdb
   

5. OpenTSDBオープンソースをインストールします。

   # rootユーザー
   su - opentsdb
   
   # opentsdbユーザー
   git clone https://github.com/OpenTSDB/opentsdb
   cd opentsdb
   

6. OpenTSDBソースをビルドします。

   # opentsdbユーザー
   ./build.sh
   

2. HBaseクライアントのインストール

HBaseクライアントをインストールする方法は、次の通りです。

1. 以下のコマンドを使用して HBase Binaryをダウンロードします。

   # opentsdbユーザー
   wget https://archive.apache.org/dist/hbase/1.1.2/hbase-1.1.2-bin.tar.gz
   tar xvfz hbase-1.1.2-bin.tar.gz
   ln -s hbase-1.1.2 hbase
   

2. Ambari UIで [ACTIONS] > Download Client Configsをクリックし、HBaseクライアント設定情報をダウンロードします。

   • Ambari UIへのアクセスや使用に関する詳細は、Ambari UIガイドをご参照ください。
     

3. HBaseクライアントの設定情報の圧縮を展開します。

   # opentsdbユーザー
   tar xvfz HBASE_CLIENT-configs.tar.gz -C ~/opentsdb/hbase/conf
   sed -i -e 's|\(^export JAVA_HOME=.*\)|#\1|' ~/opentsdb/hbase/conf/hbase-env.sh
   

4. opentsdbユーザーの .bash_profileを修正します。

   # opentsdbユーザー
   echo 'export HBASE_HOME=~/hbase'                   >> ~/.bash_profile
   echo 'export PATH=$PATH:${HBASE_HOME}/bin'         >> ~/.bash_profile
   echo 'export JAVA_HOME=/usr/java/jdk1.8.0_192-amd64' >> ~/.bash_profile
   logout
   

5. Ambari UI > Hostsメニューで Cloud Hadoopクラスタのホスト名と Private IPアドレス情報を確認します。
   

6. 以下のコマンドを用いて /etc/hosts 情報を追加します。

   • 前のステップで確認した Cloud Hadoopクラスタのホスト名と Private IPアドレス情報を追加します。

   # rootユーザー
   # echo 'IP            ホスト名'     >> /etc/hosts
   echo  '1**.**.*.*  e-001-*****-**'  >> /etc/hosts
   echo  '1**.**.*.*  m-001-*****-**'  >> /etc/hosts
   echo  '1**.**.*.*  m-002-*****-**'  >> /etc/hosts
   echo  '1**.**.*.*  d-001-*****-**' >> /etc/hosts
   echo  '1**.**.*.*  d-002-*****-**' >> /etc/hosts
   

7. 以下のコマンドを用いて hbase shell アクセスをテストします。

   su - opentsdb
   # opentsdbユーザー
   hbase shell
   
   HBase Shell; enter 'help<RETURN>' for list of supported commands.
   Type "exit<RETURN>" to leave the HBase Shell
   Version 1.1.2, rcc2b70cf03e3378800661ec5cab11eb43fafe0fc, Wed Aug 26 20:11:27 PDT 2015
   hbase(main):001:0>
   

HBase Shell アクセスに失敗した場合、Cloud Hadoopの ACGに OpenTSDBサーバを追加してください。ACGの設定に関する内容は、ファイアウォール設定(ACG)ガイドをご参照ください。

3. OpenTSDBテーブルの作成

OpenTSDBテーブルを作成する方法は、次の通りです。

1. 以下のコマンドを使用して TSDB テーブルを作成します。

   # opentsdbユーザー
   export COMPRESSION=SNAPPY
   export DATA_BLOCK_ENCODING=FAST_DIFF
   export TSDB_TTL=2147483647
   sh ~/opentsdb/src/create_table.sh
   

2. 以下のコマンドでテーブルリストを確認します。

   # opentsdbユーザー
   hbase shell
   hbase(main):001:0> list
   TABLE
   tsdb
   tsdb-meta
   tsdb-tree
   tsdb-uid
   4 row(s) in 0.1620 seconds
   
   => ["tsdb", "tsdb-meta", "tsdb-tree", "tsdb-uid"]
   hbase(main):002:0>
   

4. OpenTSDBの起動

以下のコマンドを使用して TSDを 8888番ポートで起動します。

# opentsdbユーザー
 cd opentsdb
 ./build/tsdb tsd --port=8888 --staticroot=build/staticroot --
 cachedir=`pwd`/build/tmp --zkquorum=m-001-*****-**,m-002-*****-**,d-001-*****-**:
 2181 --zkbasedir=/hbase-unsecure &

5. OpenTSDBに時系列データを保存

OpenTSDBに時系列データを保存する方法は、次の通りです。

1. 以下のコマンドを使用して cpu.util メトリックを作成します。

   # opentsdbユーザー
   .build/tsdb mkmetric cpu.util --zkquorum=m-001-*****-**,m-002-*****-**,d-001-*****-**:
   2181 --zkbasedir=/hbase-unsecure metrics cpu.util: [0, 0, 1]
   

2. 以下のコマンドを使用して cpu.util メトリックの収集スクリプトを作成します。 (sar-data-input.sh)

   • スクリプトの出典: Effective Monitoring and Alerting原書を参照

   #!/bin/bash 
   # Ignore sar's header.  
   LC_ALL=en sar -u 1 | sed -u -e '1,3d' | 
   while read time cpu usr nice sys io steal idle; 
   do
       NOW=$(date +%s)
       echo put cpu.util $NOW $usr time=user
       echo put cpu.util $NOW $sys time=system
       echo put cpu.util $NOW $io time=io
       echo put cpu.util $NOW $idle time=idle
       # Report values to standard error.
       echo timestamp:$NOW user:$usr sys:$sys io:$io idle:$idle >&2 
   done | nc -w 30 localhost 8888
   

3. 以下のコマンドを使用してメトリックデータを OpenTSDBに転送します。

   sh sar-data-input.sh
   

6. OpenTSDBグラフの確認

OpenTSDBグラフを確認する方法は、次の通りです。

1. サーバコンソールで OpenTSDBサーバのグローバル IPアドレスを確認します。
   
2. OpenTSDBサーバの 8888番ポートでアクセスして収集されたグラフを確認します。