コネクタ

Prev Next

VPC環境で利用できます。

Topicメニューで連携コネクタを作成し、確認・変更・削除する方法について説明します。トピックコネクタを介して外部システムと連携し、トピックに保存されたデータを外部システムに転送したり、外部システムにインポートすることができます。コネクタは、コンシューマがトピックから一定周期でデータを照会して取得するポーリング(polling)方式で動作するため、プッシュ(Push)方式に比べて安定したデータ処理が可能です。

参考

トピックにコネクタを設定するには、まず Sub Account > Rolesメニューで Serviceタイプのロールを作成し、Object Storageサービスにバケットを作成する必要があります。詳細は、サービス連携や Sub Account ご利用ガイド、Object Storage ご利用ガイドをご参照ください。

コネクタ設定

コネクタを設定する方法は、次の通りです。

  1. NAVERクラウドプラットフォームコンソールの VPC環境で、i_menu > Services > Big Data & Analytics > Data Streamメニューを順にクリックします。
  2. Topicメニューをクリックします。
  3. トピックリストから、サービスの詳細を見るをクリックします。
  4. トピック詳細画面から、 [コネクタ] タブのメニューをクリックします。
  5. [コネクタ設定] ボタンをクリックします。
  6. コネクタ設定のポップアップが表示されたら、基本情報を入力して詳細オプションを設定します。
    • 基本情報
      • 名前: 自動入力され、ユーザーは変更不可
      • 説明: コネクタの説明を0~500Byte以内で入力
    • 詳細設定
      • コンシューマ仕様: コネクタ処理性能のサポート環境を選択
        • Small: コンテナ1個基準、パーティション当たり毎秒最大250Kbyteのスループットをサポート
        • Media: コンテナ2個基準、パーティション当たり毎秒最大500Kbytesのスループットをサポート
      • 対象サービス: データを保存する NAVERクラウドプラットフォームのサービスをクリックして選択
      • 保存パス: データを保存する Object Storageバケットの [設定] ボタンをクリックして選択し、 [保存] ボタンをクリック
        • サブディレクトリに移動するには、バケット名をダブルクリック
        • パスにトピック名を使用: Object Storageの保存パスにトピック名ディレクトリの作成有無をクリックして選択
      • 日付フォーマットを使用: Object Storageのサブ保存パスに日付フォーマットディレクトリの使用有無をクリックして選択
        • NONE: 日付フォーマットを使用しない
        • year={yyyy}/: 年形式のディレクトリを含む
        • year={yyyy}/month={MM}/: 年/月形式のディレクトリを含む
        • year={yyyy}/month={MM}/day={dd}/: 年/月/日形式のディレクトリを含む
        • year={yyyy}/month={MM}/day={dd}/hour={HH}/: 年/月/日/時形式のディレクトリを含む
    • オプション
      • Flush: コネクタでのデータ処理ポリシーに対する設定
        • 以下の条件のうち、先に到達する条件に基づいてデータを処理します。データサイズ(MB)によって、内部的に処理時間が異なる場合があります。
        • Interval: 時間基準データ処理条件(デフォルト値: 10分ごと、最小: 1分/最大: 10分)
        • Count: row数データ処理条件(デフォルト値: 5000 rowごと、最小: 5000/ 最大: 50,000)
      • スキーマフォーマット
        • トピックのメッセージ Keyまたは Valueデータを読み取る時、使用する Deserializerクラスを選択します。
        • STRING以外にクラス(AVRO、JSON、PROTOBUF)はスキーマ連携が必要です。
          • スキーマに合わないデータは正常に処理されません。
          • スキーマフォーマットに従って、結果ファイルは以下のように作成されます。
            • STRINGクラス: .json拡張子
            • AVRO、JSON、PROTOBUFクラス: .parquet拡張子
    • ロール名: コネクタがデータアクセス時に使用するサービスロールをドロップダウンメニューからクリックして選択
      • [新規作成] ボタン: クリックすると、Sub Account > Rolesメニューで新規作成可能
      • ロール作成の使用方法は、Sub Account ご利用ガイドを参照
  7. [保存] ボタンをクリックします。
    • 画面に設定されたコネクタ情報が表示されます。
      • 最近実行ステータス: コネクタの最近実行されたステータス
        • 有効: コネクタが正常に実行中
      • 作成日時: コネクタが作成された日時(YYYY-MM-DD HH:mm:ss (UTC+09:00形式))

コネクタ情報の確認

コネクタの情報を確認する方法は、次の通りです。

  1. NAVERクラウドプラットフォームコンソールの VPC環境で、i_menu > Services > Big Data & Analytics > Data Streamメニューを順にクリックします。
  2. Topicメニューをクリックします。
  3. トピックリストから、コネクタ情報を確認するトピックのサービスの詳細を見るをクリックします。
  4. トピック詳細画面から、 [コネクタ] タブのメニューをクリックします。
  5. 画面が表示されたら、コネクタ情報を確認します。

コネクタ変更

コネクタを変更する方法は、次の通りです。

  1. NAVERクラウドプラットフォームコンソールの VPC環境で、i_menu > Services > Big Data & Analytics > Data Streamメニューを順にクリックします。
  2. Topicメニューをクリックします。
  3. トピックリストから、コネクタを変更するトピックのサービスの詳細を見るをクリックします。
  4. トピック詳細画面から、 [コネクタ] タブのメニューをクリックします。
  5. 画面が表示されたら、必要な情報を変更します。

コネクタ削除

コネクタを削除する方法は、次の通りです。

注意

コネクタを削除すると、コネクタが設定されたトピックのデータ送信が中止され、削除されたコネクタは復旧できませんので、慎重に検討した上で進めてください。ただし、コネクタを介して対象サービスに保存したデータは削除されず、データ保存期間に応じた料金が課金されます。

  1. NAVERクラウドプラットフォームコンソールの VPC環境で、i_menu > Services > Big Data & Analytics > Data Streamメニューを順にクリックします。
  2. Topicメニューをクリックします。
  3. トピックリストから、サービスの詳細を見るをクリックします。
  4. トピック詳細画面から、コネクタ タブをクリックします。
  5. [削除] ボタンをクリックします。
  6. 削除通知のポップアップで内容を確認し、 [削除] ボタンをクリックします。
    • 画面から削除したコネクタ情報が消えます。