VPC環境で利用できます。
NAVERクラウドプラットフォーム Data Catalogで Cloud Hadoopの Hive Metastore保存場所と連携する方法を説明します。
事前タスク
- Data Catalogご利用の申し込みを行ってください。
- Data Catalogの利用に関する詳細は、Data Catalog を開始するガイドをご参照ください。
Data Catalogで Hive Metastoreを使用するには
- Cloud Hadoop 2.0バージョン以上のみと連携できます。
- Data Catalog保存場所で N個の Cloud Hadoopクラスタが自由に連携して使用できます。
外部 Hive Metastoreと連携
Cloud Hadoop作成時に Data Catalogサービスのカタログの使用有無をチェックして作成すると自動で連携されます。
Cloud Hadoopで提供する Hive、Presto、Trino、Impala、Sparkサービスも Data catalogをメタストレージとして使用して利用できます。
Cloud Hadoopと連携された Data Catalogのステータスに関しては、クラスタ詳細を通して確認できます。
連携が正常に完了したか確認するには、Hue > Hiveで以下のコマンドを実行し、Data Catalogサービスで作成したデータベースリストが出力されたか確認します。
show databases;
Data Catalog使用時の考慮事項
- LOCATIONを指定せずに Hiveテーブルを作成すると、Data Catalog作成時に使用したオブジェクトストレージのバケットアドレスに保存されます。
- Cloud Hadoopクラスタを削除しても Data Catalogに作成されたテーブル情報は維持されます。