Trino を使用する

VPC環境で利用できます。

Trinoは、ビックデータ分析のための分散SQLクエリエンジンです。PrestoSQLがTrinoにRebrandingされ、PrestoSQLを基盤として提供されていたPrestoアプリもTrinoアプリに名称が変更されました。Data Forestで提供中のPrestoアプリと同様に、Trinoアプリを通じても各ユーザーは独立したTrinoサーバ環境を構成できます。

Trinoアプリの詳細情報の確認

アプリの作成が完了すると詳細情報を確認できます。アプリの詳細情報のStatusがStableであれば、アプリが正常に起動されたことを意味します。

アプリの詳細情報を確認する方法は以下のとおりです。

1. NAVERクラウドプラットフォームコンソールで、Services > Big Data & Analytics > Data Forest > Appメニューを順にクリックします。
2. アプリを所有するアカウントを選択します。
3. 詳細情報を確認するアプリをクリックします。
4. アプリの詳細情報を確認します。
   
   • Quick links
     • AppMaster：コンテナログを確認できるURL。アプリを作成するとすべてのアプリはYARNキューに提出され、YARNは各アプリの詳細情報を確認できるウェブUIを提供
     • Trino Coordinator：Trino CoordinatorウェブUIにアクセスできる。ユーザーアカウント名とパスワードでログイン。
     • Trino CLI Web：ブラウザを通じてウェブ基盤CLIを使用できる。ユーザーアカウント名とパスワードでログイン。
     • Supervisor：コンテナのアプリプロセスをモニタリングして管理できるSupervisorを提供。SupervisorウェブUIを通じてプロセスを管理できる。
   • コンポーネント：デフォルト値が推奨リソースです。
     • coordinator：coordinatorの役割を果たすコンポーネント
     • worker：workerの役割を果たすコンポーネント

<例>

• Trino Coordinatorアクセス画面
  
• Trino CLI Webアクセス画面
  
• Supervisorアクセス画面
  

Catalog、Schemaの確認

このアプリで作成したTrinoサーバにはHiveコネクタがデフォルトで設定されているため、Hive Warehouseにアクセスできます。

以下のようにhive、system catalogの存在が確認できます。system catalogはクラスタに関する情報と指標を提供します。

Password:
trino> show catalogs;
Catalog
---------
hive
system
(2 rows)

Query 20220208_050852_00000_4xb62, FINISHED, 3 nodes
Splits: 53 total, 53 done (100.00%)
1. 23 [0 rows, 0B] [0 rows/s, 0B/s]

system catalogの下位に存在するテーブルと、Prestoクラスタを構成するノード情報が確認できます。

trino> SHOW SCHEMAS FROM system;
Schema
--------------------
information_schema
jdbc
metadata
runtime
(4 rows)

Query 20220208_051532_00001_4xb62, FINISHED, 4 nodes
Splits: 53 total, 53 done (100.00%)
0. 28 [4 rows, 57B] [14 rows/s, 201B/s]

trino> SHOW TABLES FROM system.runtime;
Table
----------------------
nodes
optimizer_rule_stats
queries
tasks
transactions
(5 rows)

Query 20220208_051549_00002_4xb62, FINISHED, 4 nodes
Splits: 53 total, 53 done (100.00%)
0. 32 [5 rows, 134B] [15 rows/s, 425B/s]

trino> SELECT * FROM system.runtime.nodes;
node_id | http_uri | node_version | coordinator | state
-------------------------------------------------------------------+----------------------------+--------------+-------------+--------
test-01-worker-0-container_e814_1643186470613_0056_01_000003 | http://10.250.31.228:10292 | 367 | false | active
test-01-coordinator-0-container_e814_1643186470613_0056_01_000002 | http://10.250.31.224:10302 | 367 | true | active
test-01-worker-1-container_e814_1643186470613_0056_01_000004 | http://10.250.31.225:10292 | 367 | false | active
test-01-worker-2-container_e814_1643186470613_0056_01_000005 | http://10.250.31.227:10292 | 367 | false | active
(4 rows)

Query 20220208_051555_00003_4xb62, FINISHED, 2 nodes
Splits: 17 total, 17 done (100.00%)
0. 23 [4 rows, 389B] [17 rows/s, 1.65KB/s]

trino>

hive catalogを確認できます。TrinoでHive Metastoreの下位に保存されたデータに対しクエリを実行できます。

trino> SHOW SCHEMAS FROM hive;
Schema
--------------------------
default
df_test__db_foo
information_schema
(3 rows)

Query 20220208_054001_00004_4xb62, FINISHED, 4 nodes
Splits: 53 total, 53 done (100.00%)
0. 92 [7 rows, 141B] [7 rows/s, 153B/s]

worker数の変更

アプリの使用中にworker数を変更できます。

worker数を変更する方法は以下のとおりです。

1. NAVERクラウドプラットフォームコンソールで、Services > Big Data & Analytics > Data Forest > Appメニューを順にクリックします。
2. アカウントを選択し、アプリを選択して [Flex] ボタンをクリックします。
3. Flexの変更画面が表示されたら、worker数を修正して [修正] ボタンをクリックします。