Workflow

Prev Next

VPC環境で利用できます。

Workflowメニューの画面構成とワークフローエディタの画面構成、ワークフローの作成方法を説明します。
ワークフローはタスクの手順を指定して当該タスクのスケジュールを予約するなど、データのパイプラインを構成する一連のプロセスです。
ワークフローエディタはコードを作成せずにワークフローを構成できるように GUIインタフェースを提供します。

参考

ワークフローは複数のトリガーと複数のタスクを組み合わせて構成するように設計されています。しかし今回のリリース(2023年11月)ではワークフロー1つにトリガー1つとタスク1つのみ構成できます。今後のリリースで複数のトリガー/タスク構成およびイベントのノード構成を確認できます。

Workflow画面

Workflow画面は以下のように構成されています。
dataflow-workflow-vpc_screen_ko

領域 説明
① メニュー名 現在確認中のメニュー名
② 基本機能 Workflowメニューに初回アクセスすると表示される機能
  • [ワークフロー作成] ボタン: クリックしてワークフロー作成
  • [サービスの詳細を見る] ボタン: クリックして Data Flowの紹介ページに移動
  • [更新] ボタン: クリックしてページを更新
③ 作成後の機能 ワークフロー作成後に提供される機能
④ ワークフローリスト 作成したワークフローリスト。ワークフロー別に [詳細を見る] ボタンをクリックすると、ワークフローエディタ画面に移動。
⑤ 検索ウィンドウ ワークフロー名を使って作成されたワークフローを検索

ワークフロー情報の確認

作成したワークフローの詳細情報を確認する方法は、次の通りです。

  1. NAVERクラウドプラットフォームコンソールの VPC環境で、 i_menu > Services > Big Data & Analytics > Data Flowメニューを順にクリックします。
  2. Workflowメニューをクリックします。
  3. ワークフローリストが表示されたら、サマリー情報を確認します。
    • ワークフロー名: ワークフローの作成時にユーザーが入力した固有の名前
    • 最近の実行日時: 最近のワークフロー実行日時。トリガーによって予約実行されるか、オンデマンドが実行された最新日時。
    • 実行オプション: ワークフローの実行ステータス
    • 予約: トリガーによって実行が予約されているステータス
    • なし: トリガーによって実行が予約されていないステータス。トリガーのプロパティ情報 > 実行オプションでなしを選択した場合。
    • アップデート日時: 最近のワークフローアップデート日時。ワークフローの構成を変更した最新日時。
    • [詳細を見る] ボタン: ワークフローの詳細情報の照会
  4. ワークフロー構成に関する詳細を照会するには [詳細を見る] ボタンをクリックします。

ワークフローを作成

ワークフローはトリガーノードとタスクノードを組み合わせて構成できます。トリガーノードはタスク実行スケジュールを指定するノードで、タスクノードはどのようなタスクを実行するかを指定するノードです。
トリガーノードは作成されたトリガーの中で選択するか、新規作成できます。タスクノードは作成されたタスクの中で選択でき、現在実行中のタスクはワークフローに盛り込めません。

参考

作成されているタスクがない場合は、まずタスクを作成します。タスクの作成手順に関する詳細は、タスク作成をご参照ください。

Jobが実行中の間は同じ Jobを実行できないため、トリガー設定にご注意ください

ワークフローを作成する方法は次の通りです。

  1. NAVERクラウドプラットフォームコンソールの VPC環境で、 i_menu > Services > Big Data & Analytics > Data Flowメニューを順にクリックします。
  2. Workflowメニューをクリックします。
  3. [ワークフロー作成] ボタンをクリックします。
  4. ワークフローエディタ画面が表示されると、[ワークフローの構成] タブでトリガーノード、タスクノードを追加してワークフローを構成します。
  5. ワークフローエディタ画面で [トリガー] ボタンをクリックして表示されるメニューで新規作成または既存のトリガー追加を選択します。
    • 新規作成: トリガーを新規追加した後、プロパティ情報を入力
    • 既存のトリガー追加: 既存に作成したトリガーリストの中で適用するトリガーを選択
  6. 6.で新規作成を選択した場合、左画面でトリガーボックスを選択して右画面でトリガーノードのプロパティ情報を入力します。
    • 名前: トリガー名を入力
    • 実行オプション: 周期実行、特定日に実行、なしの中で選択
    • 実行オプションで周期実行を選択した場合の実行周期: 毎日、毎週、毎月の中で選択
    • 実行オプションで周期実行を選択した場合の実行時間: ワークフローを実行する入力。例) 12:00
    • 実行オプション > 周期実行で毎週を選択した場合の実行曜日: ワークフローを実行する曜日を選択。複数選択可能。
    • 実行オプション > 周期実行で毎月を選択した場合の実行日: 1~31の間の日付を入力。複数の日付を入力する場合はコンマ(、)で区分。毎月の最終日を選択可能。
    • 実行オプションで特定日に実行を選択した場合の実行日: i-dataflow_calendarアイコンをクリックしてワークフローを実行する日を選択
    • 実行オプションでなしを選択した場合: 追加入力フィールドなし
  7. 6.で既存のトリガー追加を選択した場合、左画面でトリガーボックスをクリックして右画面に表示されたトリガーリストから特定のトリガーを選択します。
  8. ワークフローエディタ画面で [タスク] ボタンをクリックします。
  9. 左画面で追加されたタスクボックスをクリックし、右画面でタスクのプロパティ情報と実行オプションを入力します。
    • プロパティ情報: 既存に作成されているタスクリストの中でワークフローに追加したいタスクを選択。現在実行中のタスクはリストに表示されない。
    • 実行オプション: タスク作成時に設定した実行オプションを照会。実行オプションを変更可能。
      • 実行コンテナ: 分散してタスクを行うコンテナを何台使用するか設定
      • 再試行回数: タスク失敗時に何回再試行するか設定
      • Timeout: タスクを一度実行する時にタスク結果を待つ時間を設定
      • スクリプトパス: タスクコマンドスクリプトが保存されるパス。タスク作成時に自動で作成される Object Storageバケットの下位パスに自動で指定。
      • 実行ログ: タスク実行履歴が保存されるパス。タスク作成時に自動で作成される Object Storageバケットのサブパスに自動で指定。
      • ロール名: 現在のリリースバージョンでは使用しない(2023年11月基準)
  10. [完了] ボタンをクリックします。
    • ワークフロー作成が完了してワークフローリストに表示されます。
    • ワークフローが作成されるとトリガーによる実行が予約されます。
    • 作成したワークフローは NAVERクラウドプラットフォームのリソースとして登録されます。詳細は、Resource Manager とはをご参照ください。
参考

タスク実行オプションポップアップのロール名項目は、ソースノードまたはターゲットノードで Cloud DBを利用する場合に入力すべき値です。今後 Data Flowに Cloud DBが連携する時点に有効なフィールドであるため、今(2023年11月基準)は設定しません。

ワークフローエディタの画面構成

ワークフローエディタ画面は以下のように構成されています。
dataflow-workflow-vpc_editor_ko

領域 説明
① 基本情報 ワークフロー名を入力
② 機能タブ 使用する機能を選択
③ ノード表示領域 トリガーノード、タスクノードを追加。各ノードとノード間の関係がダイアグラムとして表現される。
④ 設定領域 各ノードのプロパティ設定および詳細情報を入力
⑤ トグルボタン 編集ステータスによって [一時保存] ボタンと [実行] ボタンの間にトグル
  • [一時保存] ボタン: 編集中のワークフローを一時保存
  • [実行] ボタン: 編集が完了したワークフローをオンデマンドで実行

ワークフローエディタの [ワークフローの構成] タブのノード表示領域(③番領域)でワークフローの構成要素(トリガー/タスク)ノードを追加し、ワークフローエディタの [ワークフローの構成] タブの設定領域(④番領域)でワークフロー構成要素のプロパティと詳細設定を入力します。トリガーノード、タスクノードを1つずつ追加すると、[完了] ボタンが有効になります。現在実行中のタスクはワークフローに盛り込めません。

参考

今回のリリース(2023年11月)ではワークフロー1つにトリガー1つとタスク1つのみ構成できます。今後のリリースで複数のトリガーとタスクを1つのワークフローとして構成でき、イベントノードが追加される予定です。

ワークフロー実行リストを照会

タスク実行履歴を照会する方法は、次の通りです。

  1. NAVERクラウドプラットフォームコンソールの VPC環境で、 i_menu > Services > Big Data & Analytics > Data Flowメニューを順にクリックします。
  2. Workflowメニューをクリックします。
  3. Workflowリストが表示されるとワークフローリストから特定のワークフローに対する [詳細を見る] ボタンをクリックします。
  4. ワークフローエディタ画面が表示されると [実行リスト] タブをクリックします。
    • 最近の1か月間のワークフロー実行リストを確認できます。ワークフロー実行履歴は90日間保管されます。
    • 実行リストで照会できる項目は、次の通りです。
      • タスク名(ID): ワークフローに構成されたタスク情報。Jobの作成時にユーザーが入力した Job固有の名前(Job ID)。
      • 実行ステータス: ワークフローに構成されたタスク実行結果。成功、失敗、実行中、待機の中から1つの値が照会される。
      • 実行ログ: [詳細を見る] ボタンをクリックするとワークフロー実行履歴ファイルの場所に移動
      • コンテナ: ワークフローに構成されたタスク実行オプションで設定したコンテナの台数
      • トリガー: ワークフローに構成されたトリガー情報
      • 実行開始日: ワークフローの実行開始日時。トリガーによって予約が実行された日時。
      • 実行終了日: ワークフローの実行終了日時。トリガーによって予約の実行が終了した日時。
      • 実行準備時間: ワークフローが実行するまでの準備時間
      • 実行時間: ワークフロータスクの実行にかかった時間
      • 再試行回数: ワークフロータスクの実行再試行回数
参考

ワークフローで実行したタスクは Workflow画面の実行リストでも照会され、Job画面の実行リストでも照会されます。

ワークフローを削除

ワークフローを削除する方法は次の通りです。

  1. NAVERクラウドプラットフォームコンソールの VPC環境で、 i_menu > Services > Big Data & Analytics > Data Flowメニューを順にクリックします。
  2. Workflowメニューをクリックします。
  3. ワークフローリストから特定のワークフローを選択し、[削除] ボタンをクリックします。
    • ワークフローリストから当該ワークフローが削除されます。