Trino 사용

VPC 환경에서 이용 가능합니다.

Trino는 빅데이터 분석을 위한 분산 SQL 쿼리 엔진입니다. PrestoSQL이 Trino로 Rebranding되면서, PrestoSQL을 기반으로 제공되던 Presto 앱도 Trino 앱으로 이름이 변경되었습니다. Data Forest에서 제공 중인 Presto 앱과 동일하게 Trino 앱으로도 사용자마다 독립적인 Trino 서버 환경을 구성할 수 있습니다.

Trino 앱 상세 정보 확인

앱 생성이 완료되면 상세 정보를 확인할 수 있습니다. 앱 상세 정보의 Status가 Stable이면 앱이 정상적으로 구동된 것을 의미합니다.

앱 상세 정보를 확인하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼의 콘솔에서 Services > Big Data & Analytics > Data Forest메뉴를 차례대로 클릭해 주십시오.
2. 좌측의 Data Forest > Apps 메뉴를 클릭해 주십시오.
3. 앱을 소유한 계정을 선택해 주십시오.
4. 상세 정보를 확인할 앱을 클릭해 주십시오.
5. 앱 상세 정보를 확인해 주십시오.
   
   • Quick links
     • AppMaster: 컨테이너 로그를 확인할 수 있는 URL. 앱 생성 시 모든 앱은 YARN 큐에 제출되며, YARN은 각 앱의 상세 정보를 확인할 수 있는 Web UI 제공
     • Trino Coordinator: Trino Coordinator Web UI 접근 가능. 사용자 계정명과 비밀번호로 로그인
     • Trino Cli Web: 브라우저를 통해 Web 기반 Cli 사용 가능. 사용자 계정명과 비밀번호로 로그인
     • Supervisor: 컨테이너의 앱 프로세스를 모니터링하고 관리할 수 있는 supervisor 제공. Supervisor Web UI를 통해서 프로세스 관리 가능
   • 컴포넌트: 기본 지정된 값이 권장 리소스입니다.
     • coordinator: coordinator 역할을 수행할 컴포넌트
     • worker: worker 역할을 수행할 컴포넌트

<예시>

• Trino Coordinator 접속 화면
  
• Trino Cli Web 접속 화면
  
• Supervisor 접속 화면
  

Catalog, Schema 확인

이 앱에서 생성한 Trino 서버에는 Hive Connector가 기본으로 설정되어 있기 때문에 Hive Warehouse에 접근할 수 있습니다.

다음과 같이 hive, system catalog가 존재하는 것을 확인할 수 있습니다. system catalog는 클러스터에 대한 정보와 지표를 제공합니다.

Password:
trino> show catalogs;
Catalog
---------
hive
system
(2 rows)

Query 20220208_050852_00000_4xb62, FINISHED, 3 nodes
Splits: 53 total, 53 done (100.00%)
1.23 [0 rows, 0B] [0 rows/s, 0B/s]

system catalog 하위에 존재하는 테이블과 Presto 클러스터를 구성하는 노드 정보를 확인할 수 있습니다.

trino> SHOW SCHEMAS FROM system;
Schema
--------------------
information_schema
jdbc
metadata
runtime
(4 rows)

Query 20220208_051532_00001_4xb62, FINISHED, 4 nodes
Splits: 53 total, 53 done (100.00%)
0.28 [4 rows, 57B] [14 rows/s, 201B/s]

trino> SHOW TABLES FROM system.runtime;
Table
----------------------
nodes
optimizer_rule_stats
queries
tasks
transactions
(5 rows)

Query 20220208_051549_00002_4xb62, FINISHED, 4 nodes
Splits: 53 total, 53 done (100.00%)
0.32 [5 rows, 134B] [15 rows/s, 425B/s]

trino> SELECT * FROM system.runtime.nodes;
node_id | http_uri | node_version | coordinator | state
-------------------------------------------------------------------+----------------------------+--------------+-------------+--------
test-01-worker-0-container_e814_1643186470613_0056_01_000003 | http://10.250.31.228:10292 | 367 | false | active
test-01-coordinator-0-container_e814_1643186470613_0056_01_000002 | http://10.250.31.224:10302 | 367 | true | active
test-01-worker-1-container_e814_1643186470613_0056_01_000004 | http://10.250.31.225:10292 | 367 | false | active
test-01-worker-2-container_e814_1643186470613_0056_01_000005 | http://10.250.31.227:10292 | 367 | false | active
(4 rows)

Query 20220208_051555_00003_4xb62, FINISHED, 2 nodes
Splits: 17 total, 17 done (100.00%)
0.23 [4 rows, 389B] [17 rows/s, 1.65KB/s]

trino>

hive catalog를 확인할 수 있습니다. Trino로 Hive Metastore 하위에 저장된 데이터에 질의를 할 수 있습니다.

trino> SHOW SCHEMAS FROM hive;
Schema
--------------------------
default
df_test__db_foo
information_schema
(3 rows)

Query 20220208_054001_00004_4xb62, FINISHED, 4 nodes
Splits: 53 total, 53 done (100.00%)
0.92 [7 rows, 141B] [7 rows/s, 153B/s]

worker 개수 변경

앱 사용 중에 worker 개수를 변경할 수 있습니다.

worker 개수를 변경하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼의 콘솔에서 Services > Big Data & Analytics > Data Forest 메뉴를 차례대로 클릭해 주십시오.
2. 좌측의 Data Forest > Apps 메뉴를 클릭해 주십시오.
3. 계정을 선택하고 앱을 선택한 후 [Flex] 버튼을 클릭해 주십시오.
4. Flex 변경 창이 나타나면 worker 개수를 수정하고 [수정] 버튼을 클릭해 주십시오.