クエリの実行と管理

VPC環境で利用できます。

クエリを入力して実行する方法と、入力したクエリを保存して活用する方法を説明します。

クエリ模擬実行

クエリ模擬実行を開始すると入力されたクエリは正式に処理されず、そのクエリ文を処理するときはスキャンされるデータ量を測定して結果ポップアップに表示します。スキャンされるデータ量を予め測定して発生する料金を予測できます。
クエリを模擬実行する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールの VPC環境で、 > Services > Big Data & Analytics > Data Queryメニューを順にクリックします。
2. Query Editorメニューをクリックします。
3. データソースを選択した後、クエリ入力のポップアップにクエリ文を入力します。
   • テンプレートクエリを利用する場合、クエリ文にデータソースが定義されているため、直接選択する必要がありません。[クエリ] タブ > [テンプレートクエリ] ボタンをクリックした後、実行したいクエリを選択するとそのクエリ文が自動で入力されます。
4. [模擬実行] ボタンをクリックします。
5. 画面下部の模擬実行結果を確認します。

クエリ実行

クエリを実行する方法は次の通りです。

1. NAVERクラウドプラットフォームコンソールの VPC環境で、 > Services > Big Data & Analytics > Data Queryメニューを順にクリックします。
2. Query Editorメニューをクリックします。
3. データソースを選択した後、クエリ入力のポップアップにクエリ文を入力します。
   • データベースドロップダウンメニューからデータベース名を選択すると、ソースパスを全て入力することなく、テーブル名のみ簡単に入力できます。
     
   • テンプレートクエリの場合、データソースは「public_data」所属のデータベースで予め定義されています。[クエリ] タブ > [テンプレートクエリ] ボタンをクリックした後、実行したいクエリを選択すると実行可能なクエリ文が自動で入力されます。
   • 同じクエリを再実行する場合、効率的な処理のために結果再利用機能をオンにすることができます。詳細は、クエリ結果再利用設定をご参照ください。
4. [実行] ボタンをクリックします。
   • クエリ処理時にスキャンされるデータ量を予め測定したい場合は、 [模擬実行] ボタンを先にクリックして測定結果を確認した後、 [実行] ボタンをクリックします。
5. 画面下部の実行結果を確認します。
   • 結果領域でクエリ結果以外に様々な情報を確認できます。結果確認に関する詳細は、クエリ結果照会をご参照ください。
   • 入力したクエリはページを移動すると消えるため、必要な場合はクエリ文を保存してください。保存に関する詳細は、クエリ文保存をご参照ください。

Icebergテーブル

Icebergテーブルに対するクエリを実行できます。Apache Icebergは膨大なデータを分析するための高性能テーブルフォーマットです。Apache Icebergテーブルのバージョン1と2をサポートします。

Icebergテーブルを作成するには、当該ページで説明する CREATE TABLE USING ICEBERG 文を使用します。

CREATE TABLEテーブル名(col_name data_type) USING ICEBERG

Icebergテーブルに対して、次のタスクをサポートします。

• SELECT, DESCRIBE, SHOW STATS, SHOW CREATE TABLE
• INSERT, UPDATE, MERGE, DELETE
• ALTER TABLE, DROP TABLE, COMMENT

CREATE TABLEテーブル名(col_name data_type)
with (
  "object_store_layout_enabled" = true, 
  "data_location" = 'data保存パス', 
  extra_properties = MAP(ARRAY['gc.enabled'], ARRAY['false'])
) 
USING ICEBERG;

クエリ結果再利用設定

クエリ結果再利用とは、特定時間の前に処理されたクエリによって存在する結果を再度利用することです。同じ内容のクエリを繰り返して実行する場合に活用すると、クエリ処理時間を節約できます。
結果再利用はクエリ文を入力したステータスで、実行前に設定します。結果再利用を設定する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールの VPC環境で、 > Services > Big Data & Analytics > Data Queryメニューを順にクリックします。
2. Query Editorメニューをクリックします。
3. クエリ入力のポップアップに希望するクエリ文を入力します。
4. クエリのポップアップの右上にある結果再利用項目の再利用しないをクリックします。
   
5. ドロップダウンメニューから結果再利用を許可する時間を選択します。
   • 1時間前、12時間前、1日前の中から選択するか、直接入力をクリックして最小1分から最大7日以内に設定できます。
   • 設定後にクエリの [実行] ボタンをクリックすると有効な結果が存在する場合に再利用します。

パラメータを使用したクエリ実行

クエリに変数を含めて作成し、実行時に変数をバインドすることで、動的なクエリの実行が可能です。次は、パラメータを使用したクエリの実行例です。

• 実行クエリテキスト

  select * 
  from public_data.incheon_airport.cargo_flight_schedule_summer_arrival
  where TRY_CAST(year AS INTEGER) >= ?
    and TRY_CAST(year AS INTEGER) <  ?
    and airline = ?
  

• パラメータ
  • パラメータ1: 2015
  • パラメータ2: YEAR(NOW())
  • パラメータ3: KOREAN AIR

ストレージカタログ

テーブルを作成せずに Object Storageに保存されたファイルのパスを入力して直接クエリを実行できます。
以下は、ストレージカタログを使用して Object Storageに保存されたファイルをクエリする例です。

• テーブル位置に TABLE(object_storage.file.read('TYPE', 'PATH')) 構文を使用
  • TYPE: ファイルタイプ(対応可能形式: csv、tsv、json、avro、parquet、orc)
  • PATH: Object Storageに保存されているファイルのパス

select * from TABLE(object_storage.file.read('csv', 's3a://test-bucket/path/file.csv')) ;

提供 Function

Data Queryで提供する Functionリストです。

クエリ管理

入力したクエリを再度利用できるようにマイクエリとして保存でき、保存したクエリ文は必要に応じて変更、コピー、削除できます。予約実行設定を追加して、保存したクエリ文を希望する時間に実行できます。

クエリ文保存

直接入力したクエリ文またはテンプレートクエリを変更して作成したクエリを、マイクエリとして保存できます。クエリ文を保存する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールの VPC環境で、 > Services > Big Data & Analytics > Data Queryメニューを順にクリックします。
2. Query Editorメニューをクリックします。
3. クエリ入力のポップアップに希望するクエリ文を入力します。
   • テンプレートクエリを利用する場合、 [クエリ] タブ > [テンプレートクエリ] ボタンをクリックした後、保存したいクエリを選択するとそのクエリ文が自動で入力されます。
4. クエリのポップアップの上部でクエリタブ右側のオプションメニューにマウスオーバーします。
   
5. 保存または名前を付けて保存をクリックします。
6. ポップアップでクエリの名前を入力して [保存] ボタンをクリックします。
   • クエリがマイクエリリストに保存されます。画面左側の [クエリ] タブ > [マイクエリ] ボタンをクリックすると保存されたクエリリストを確認できます。
     

保存されたクエリを編集

保存されたクエリは名前または内容を変更したり、別名で名前を付けて保存したり、削除できます。保存されたクエリを編集する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールの VPC環境で、 > Services > Big Data & Analytics > Data Queryメニューを順にクリックします。
2. Query Editorメニューをクリックします。
3. 画面左側の [クエリ] タブ > [マイクエリ] ボタンをクリックします。
4. マイクエリリストの中から編集したいクエリをクリックします。
   • クエリのポップアップにそのクエリの内容が入力されます。
5. クエリのポップアップの上部でクエリタブ右側のオプションメニューにマウスオーバーします。
   
6. 目的のメニューを選択してクリックします。
   • 名前変更: 保存されたクエリ名を変更して保存。クエリのポップアップで内容を変更したステータスで名前を変更すると内容も一緒に更新
   • 保存: クエリのポップアップで内容を変更した後、実行して上書き保存
   • 名前を付けて保存: クエリ内容をコピーして別名で名前を付けて保存
   • 削除: 当該クエリをマイクエリリストから削除

保存されたクエリの予約実行

保存したクエリ文に予約実行設定を追加して、希望する時間に実行できます。予約実行の設定方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールの VPC環境で、 > Services > Big Data & Analytics > Data Queryメニューを順にクリックします。
2. Query Editorメニューをクリックします。
3. 画面左側の [クエリ] タブ > [マイクエリ] ボタンをクリックします。
4. マイクエリリストの中で編集したいクエリ項目の右側オプションメニューにマウスオーバーします。
5. 予約実行設定メニューをクリックします。
   • 予約実行設定: 保存されたクエリ文を希望する時間/周期で実行するように予約実行情報を設定します。
   • 予約実行削除: 設定されている予約実行情報を削除します。