Scanner

VPC環境で利用できます。

スキャナー(Scanner)はソースデータのスキーマを推測し、分類子を活用してデータに合わせたテーブルを作成します。スキャナーの実行周期を設定すると、定期的にデータを収集してメタデータを最新状態にアップデートできます。 Scanner メニューではスキャナーを作成し、実行・管理できます。

Scanner画面

Data Catalog利用のための Scanner メニューの基本的な説明は、次の通りです。

スキャナー作成

メタデータを収集するソースデータとスキャン実行オプション情報を設定してスキャナーを作成できます。スキャナーを作成する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールで、 Services > Big Data & Analytics > Data Catalog メニューを順にクリックします。
2. Scanner メニューをクリックします。
3. [スキャナー作成] ボタンをクリックします。
4. スキャンするソースデータの情報を入力します。
   • データタイプ : データソースを選択
   • コネクション : データソースに接続するためのコネクションを選択
     • [コネクション作成] ボタンをクリックし、コネクションを作成できます。詳細は、コネクション作成をご参照ください。
     • データタイプが Cloud DB類の場合、コネクションを選択すると [接続テスト] ボタンが表示されます。必ず [接続テスト] ボタンをクリックし、接続を確認します。
   • パス : スキャンするソースデータのパスを入力
     • 入力したパスのサブパスに対してスキャンを実行します。
     • ソースデータタイプが Cloud DB類の場合、スキャンするテーブル名を入力します。
       • %を入力すると、全データベースをスキャンしてテーブルごとにメタデータテーブルを作成します。
5. 実行オプションを入力します。
   • 実行周期 : スキャンを実行する周期を入力
     • オンデマンド : 実行周期なしで、コンソールでスキャナーを直接実行
     • 毎日 / 毎週 / 毎月 : 設定した日時にスキャンを実行
     • クローン : 実行周期をクローン形式で入力
   • パターン : 特定データのメタデータ収集を包含/除外するように設定
     • Glob Pattern形式で入力します。
     • 除外設定が包含設定より優先して適用されます。
   • 分類子 : データ形式に応じて分類子を選択し、 [追加] ボタンをクリックして分類子を追加
     • ソースデータタイプが Object Storageの場合に設定できます。
     • [分類子作成] ボタンをクリックし、分類子を作成できます。詳細は、分類子作成をご参照ください。
     • をクリックして追加した分類子を削除できます。
6. [次へ] ボタンをクリックします。
7. 出力データ情報とテーブルアップデート処理方式を入力します。
   • データベース : スキャナーを実行して作成するテーブルを接続するデータベースを選択
     • [データベース作成] ボタンをクリックし、データベースを作成できます。詳細は、データベース作成をご参照ください。
   • Prefix : 作成するテーブル名の前に追加する文字列を入力
     • 入力しない場合、テーブル名はソースデータ名をベースに自動作成されます。
   • スキーマ追加時 : ソースデータのスキーマ変更履歴を検知した場合に行うテーブルアップデート方式を選択
     • テーブル定義更新 : スキーマを新たに作成し、削除されたデータに対するメタデータを削除
     • 新しい列のみ追加 : 新規スキーマを追加し、既存のスキーマは保持
     • 無視 : 既存のスキーマを保持
8. [次へ] ボタンをクリックします。
9. スキャナー名と説明を入力し、設定項目を確認して [保存] ボタンをクリックします。

スキャナー検索と情報確認

作成したスキャナーを検索して情報を確認する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールで、 Services > Big Data & Analytics > Data Catalog メニューを順にクリックします。
2. Scanner メニューをクリックします。
3. 検索ボックスでスキャナー名または説明を入力し、をクリックしてスキャナーを検索します。
4. スキャナーをクリックして情報を確認します。
   • 名前 : スキャナーの名前
   • 状態 : スキャナーの状態
   • 直近の実行結果 : 一番最近のスキャナー実行結果
   • 直近の実行日時 : 直近のスキャナー実行日時
   • 実行周期 : 設定されたスキャナー実行周期
   • 更新日時 : スキャナー設定を変更した一番最近の日時
   • [設定情報] タブ: クリックしてスキャナー設定情報を確認
     • 各設定項目に関する詳細は、スキャナー作成をご参照ください。
   • [実行履歴] タブ: クリックして最近の10つのスキャナー実行履歴を確認
     • 開始日 / 終了日 : スキャン実行開始/修了日時
     • 実行時間 : スキャン実行にかかった時間
     • 実行結果 : スキャン実行結果
     • 結果サマリー : スキャン実行で追加・変更されたテーブル数、スキャン失敗原因、スキャンキャンセル履歴などの情報を表示
     • [もっと見る] ボタン: クリックして実行履歴をもっと見るポップアップを表示
       • 最近の1年間の実行履歴を確認するか、実行日を指定して実行履歴を照会できる
     • [詳細を見る] ボタン: スキャン実行の詳細は、CLAサービスで確認できます

スキャナー実行

スキャナーをコンソールで手動で実行できます。

スキャナーを実行する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールで、 Services > Big Data & Analytics > Data Catalog メニューを順にクリックします。
2. Scanner メニューをクリックします。
3. 実行するスキャナーをクリックして選択し、 [実行] ボタンをクリックします。
   • 実行が完了するとスキャナーの 状態 が 実行待機 、 最近の実行結果 が 成功 と表示されます。
   • 実行中のスキャナーをクリックして選択し、 [実行管理] > 実行停止 を順にクリックしてスキャンを停止できます。

スキャナー実行周期の一時停止と再試行

定期的に自動実行するように設定したスキャナーの自動実行を一時停止するか、一時停止したスキャナーの自動実行を再試行するように設定できます。設定方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールで、 Services > Big Data & Analytics > Data Catalog メニューを順にクリックします。
2. Scanner メニューをクリックします。
3. [実行管理] ボタンをクリックします。
4. 設定する内容に応じて 実行周期の一時停止 または 実行周期の再試行 をクリックします。
   • 実行周期の一時停止 : 定期的に自動実行するように設定したスキャナーの自動実行を一時停止
   • 実行周期の再試行 : 一時停止したスキャナーの自動実行を再試行する

スキャナー変更

作成したスキャナー情報を変更する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールで、 Services > Big Data & Analytics > Data Catalog メニューを順にクリックします。
2. Scanner メニューをクリックします。
3. 変更するスキャナーをクリックして選択した後、 [変更] ボタンをクリックします。
4. スキャナー変更画面でスキャナー情報を変更します。
   • 各項目に関する詳細は、スキャナー作成をご参照ください。
5. 変更を完了したら、 [保存] ボタンをクリックします。

スキャナー削除

作成したスキャナーを削除する方法は、次の通りです。

1. NAVERクラウドプラットフォームコンソールで、 Services > Big Data & Analytics > Data Catalog メニューを順にクリックします。
2. Scanner メニューをクリックします。
3. 削除するスキャナーをクリックして選択した後、 [削除] ボタンをクリックします。
4. お知らせのポップアップが表示されたら、注意事項を確認して [削除] ボタンをクリックします。