VPC環境で利用できます。
NAVERクラウドプラットフォームの Data Flowでデータのパイプラインを簡単に構成してスケジューリングできます。使用方法は、Data Flowを開始すると Data Flowを使用するで詳細を確認できますが、事前に Data Flowを使用する全体シナリオを確認することをお勧めします。使用シナリオを学習して使用方法を確認することで、より円滑に Data Flowを活用できます。Data Flowを使用する全手順と各手順の説明は、次の通りです。
1. 使用権店設定
2. 事前環境設定
3. Data Flowご利用の申し込み
4. ジョブ作成
5. トリガー作成
6. ワークフロー作成
7. ジョブモニタリング
1. 使用権限設定
Data Flowは複数のユーザーが管理して共有する必要がある場合、ユーザー別の権限を設定して運用できます。ユーザー別の権限は、NAVERクラウドプラットフォームの Sub Accountを通じて管理者権限とユーザー権限に構成でき、各権限別にロールを定義できます。使用権限の設定は必須設定項目ではないため、Data Flowの利用中に権限が必要な状況でいつでも設定したり解除できます。
Sub Accountは、ご利用の申し込みの際に別途料金が発生しない無料サービスです。Sub Accountの紹介と料金プランに関する詳細な説明は、NAVERクラウドプラットフォームポータルのサービス > Management & Governance > Sub Accountメニューをご参照ください。
参考となるご利用ガイドは、次の通りです。
2. 事前環境設定
Data Flowを使用するにはデータソースとの連携が必要です。ソースデータを抽出するか、変換したデータを保存するための用途として使用します。
Data Flowは NAVERクラウドプラットフォームサービスの中で Data Catalogおよび Object Storageとの連携をサポートし、この2つのサービスをソースデータノードとターゲットデータノードとして使用します。
従って Data Flowを使用する前に Data Catalogと Object Storageのご利用の申し込みを行います。
事前に Data Catalogご利用の申し込みが行われていない場合、Data Flowご利用の申し込み時に Data Catalogご利用の申し込みを先に行うように案内されます。Data Catalogご利用の申し込みに参照できるご利用ガイドは、次の通りです。
事前に Object Storageご利用の申し込みが行われていない場合、Data Catalogご利用の申し込み時に Object Storageのご利用の申し込みを先に行うように案内されます。Object Storageご利用の申し込みに参照できるご利用ガイドは、次の通りです。
3. Data Flowご利用の申し込み
Data Flowご利用の申し込みを行います。参考となるご利用ガイドは、次の通りです。
4. ジョブ作成
データ処理のワークフローの構成要素であるジョブ(job)を作成します。ジョブはある場所からソースデータを読み取ってある変換ジョブを行った後、どこに保存するかを定義するファイルです。参考となるご利用ガイドは、次の通りです。
5. トリガー作成
データ処理のワークフローの構成要素であるトリガー(trigger)を作成します。トリガーはジョブスケジュールを予約するファイルです。参考となるご利用ガイドは、次の通りです。
6. ワークフロー作成
データ処理ワークフローを構成します。予め作成したジョブとトリガーを活用してデータのパイプラインを構成するステップです。参考となるご利用ガイドは、次の通りです。
7. ジョブモニタリング
上の過程を通じて作成したワークフローまたはジョブを実行すると実行履歴が残ります。ジョブの成功率、ジョブの所要時間、ジョブ量(数)についての統計データを照会するには、Data Flowの Dashboardを活用します。参考となるご利用ガイドは、次の通りです。