- 印刷する
- PDF
提供データの詳細説明
- 印刷する
- PDF
Classic/VPC環境で利用できます。
Cloud Data Boxでは NAVER検索やショッピングなどユーザーの行動データ、AI学習用画像やアノテーションデータ、ニュース記事と NLP分析のためのインスタンスデータなどを提供します。
データボックスを作成すると、検索とショッピングのサンプルデータを基本的に提供します。サンプルデータは Cloud Hadoop HDFSにアップロードして提供し、Ncloud TensorFlow Serverに NASを read-onlyとしてマウントして提供します。分析環境の構成後にデータの供給を申し込むと、基本オプション(前年度の上半期)の検索やショッピング、AIデータを Cloud Hadoopと Ncloud TensorFlow Serverに NASを read-onlyとしてマウントして提供します。インサイトオプションを申し込むと、前々年度の上半期から前月までの最新データを提供し、毎月15日に前月のデータを追加で提供します。
Cloud Data Boxで提供するデータについて詳細に説明します。
検索データとショッピングデータは、いずれもログインしたユーザーデータを対象に抽出しました。
シンプル NAVER基本データをダウンロードする時は sample.xlsxをクリックします。
シンプル NAVER Pro#1データをダウンロードする時は sample_pro#1.xlsxをクリックします。
シンプル NAVER Pro#2データをダウンロードする時は sample_pro#2.xlsxをクリックします。
NAVER Pro#2データ明細書をダウンロードするには明細書_pro#2.xlsxをクリックします。
${DATABOX_HOME_DIR}: ハドゥープクラスタ NASの home directoryは/mntであり、Ncloud TensorFlow Serverの home directoryは/home/ncp/workspaceです。サンプルデータハドゥープ HDFSデータ保存場所の home directoryは、/user/ncpです。
基本データとインサイトオプションデータ
検索データ(search)
1. 検索クリックデータ(search/click)
項目 | 説明 |
---|---|
データの紹介 | NAVERユーザーがどのようなキーワードを検索して、領域をクリックしたかを示すデータ (一日100人以上のユーザーが検索した検索キーワードが対象) |
データの提供期間 | - Standard Data: 前年度上半期(1月~6月)、毎年初めにアップデート - Insight Data: 2年前の1月~当該年度の前月、毎月アップデート(2021年8月基準、2019年1月~2021年7月) (単位: 日間単位) |
抽出の対象 | 期間中にクリック履歴のある NAVERログインユーザー |
データ集計の基準 | - date(基準日時): 検索/クリック日時 - device(機器): ユーザーが検索に使用したデバイスの情報(mobile/pc) - gender(性別): ユーザーの性別(f/m) - age(年齢層): 5歳単位(-12/13-18/19-24/25-29/30-34/35-39/40-44/45-49/50-54/55-59/60-64/65-69/70-) - loc1(地域1): 住所基準で広域市/道 - loc2(地域2): 住所基準で市/郡/区 - keyword(検索キーワード): NAVER統合検索領域でユーザーが入力したキーワード(小文字に変換、スペースは削除) - area(クリック領域): NAVER統合検索結果でユーザーのクリックしたサービス領域 - count(クリックユーザー数): 基準日、デバイス、性別、年齢層、地域、検索キーワード、クリック領域別に集計 |
サンプルデータの位置 | ${DATABOX_HOME_DIR}/sample/search/click |
全体データの位置 | 20年上半期データの場合: ${DATABOX_HOME_DIR}/search20y1h/search/click |
ディレクトリ構造 |
検索クリックデータ領域についての詳細な説明と例は、検索クリック領域の例 ファイルをご参照ください。この文書はユーザーの理解に役立つための例であり、実際提供される機能と多少の違いがある場合があります。
2. 検索クリック共起(search/click_cooccurrence)
項目 | 説明 |
---|---|
データの紹介 | NAVERユーザーが1日間一緒に検索/クリックした情報を示すデータ (一週間で100人以上のユーザーが検索した検索キーワード対象) |
データの提供期間 | - Standard Data: 前年度上半期(1月~6月)、毎年初めにアップデート - Insight Data: 2年前1月~当年年度の前月、毎月にアップデート (単位: 日間単位) |
抽出の対象 | 期間中にクリック履歴のある NAVERログインユーザー |
データ集計の基準 | - week(基準日時): 検索/クリック日時 - device(機器): ユーザーが検索に使用したデバイスの情報(mobile/pc) - gender(性別): ユーザーの性別(f/m) - age(年齢層): 5歳単位(-12/13-18/19-24/25-29/30-34/35-39/40-44/45-49/50-54/55-59/60-64/65-69/70-) - loc1(地域1): 住所基準で広域市/道 - loc2(地域2): 住所基準で市/郡/区 - keyword1(検索キーワード1): NAVER統合検索領域でユーザーが入力したキーワード(小文字に変換、スペースを削除) - area1(クリック領域1): 検索キーワード1の NAVER統合検索結果でユーザーがクリックしたサービス領域 - keyword2(検索キーワード2): NAVER統合検索領域でユーザーが入力したキーワード(小文字に変換、スペースを削除) - area2(クリック領域2): 検索キーワード2の NAVER統合検索結果でユーザーがクリックしたサービス領域 - count(一緒にクリックしたユーザー数): 基準日時、デバイス、性別、年齢層、地域、検索キーワード1、クリック領域1、検索キーワード2、クリック領域2別に集計(検索キーワード1と2の順番は考慮しない) |
サンプルデータの位置 | ${DATABOX_HOME_DIR}/sample/search/click_cooccurrence |
全体データの位置 | 20年上半期データの場合: ${DATABOX_HOME_DIR}/search20y1h/search/click_cooccurrence |
ディレクトリ構造 |
3. 検索アクセス地(search/click_location)
項目 | 説明 |
---|---|
データの紹介 | NAVERユーザーがどの地域でキーワードを検索してクリックしたかを示すデータ (アクセス地域は IPアドレス基盤で測定するため、精度に誤差がある場合がある) |
データの提供期間 | - Standard Data: 前年度上半期(1月~6月)、毎年初めにアップデート - Insight Data: 2年前1月~当年年度の前月(毎月にアップデート) (単位: 日間単位) |
抽出の対象 | 期間中にクリック履歴のある NAVERログインユーザー |
データ集計の基準 | - date(基準日時): 検索/クリック日時 - time(時間帯): 3時間単位でグループ化(00-02/03-05/06-08/09-11/12-14/15-17/18-20/21-23) - device(機器): ユーザーが検索に使用したデバイスの情報(mobile/pc) - gender(性別): ユーザーの性別(f/m) - age(年齢層): 5歳単位(-12/13-18/19-24/25-29/30-34/35-39/40-44/45-49/50-54/55-59/60-64/65-69/70-) - loc1(地域1): アクセス地(広域市/道)。アクセス IPアドレス基盤で測定される地域 - loc2(地域2): アクセス地(市/郡/区)。アクセス IPアドレス基盤で測定される地域 - keyword(検索キーワード): NAVER統合検索領域でユーザーが入力したキーワード(小文字に変換、スペースは削除)。一日の間に互いに異なるユーザーが検索したキーワード(検索後、クリックまで進んだ場合のみ集計) - count(クリックユーザー数): 基準日、時間帯、デバイス、性別、年齢層、地域、検索キーワード別に集計 |
サンプルデータの位置 | ${DATABOX_DIR}/sample/search/click_location |
全体データの位置 | 20年上半期データの場合: ${DATABOX_DIR}/search20y1h/search/click_location |
ディレクトリ構造 |
ショッピングデータ(shopping)
1. 商品クリックデータ(shopping/click)
項目 | 説明 |
---|---|
データの紹介 | NAVERユーザーがどのようなキーワードを検索してどの商品カテゴリをクリックしたかを示すデータ (一日のクリック回数100回以上の検索キーワード/商品カテゴリ対象) |
データの提供期間 | - Standard Data: 前年度上半期(1月~6月)、毎年初めにアップデート - Insight Data: 2年前1月~当年年度の前月、毎月にアップデート (単位: 日間単位) |
抽出の対象 | 期間中に商品クリック履歴のある NAVERログインユーザー |
データ集計の基準 | - date(基準日時): 検索/クリック日時 - device(機器): ユーザーが検索に使用したデバイスの情報(mobile/pc) - gender(性別): ユーザーの性別(f/m) - age(年齢層): 5歳単位(-12/13-18/19-24/25-29/30-34/35-39/40-44/45-49/50-54/55-59/60-64/65-69/70-) - loc1(地域1): 住所基準で広域市/道 - loc2(地域2): 住所基準で市/郡/区 - keyword(流入キーワード): ユーザーが商品をクリックする前に検索したキーワード - cat(商品カテゴリ): ユーザーがクリックした商品の大/中/小/3つのカテゴリ - count(訪問者数): 基準日時、デバイス、性別、年齢層、地域、商品カテゴリ、検索キーワード別に集計 - brand(ブランド名): ユーザーがクリックした商品の推定ブランド名 - item(商品名): ユーザーがクリックした商品の推定ブランド名 |
サンプルデータの位置 | ${DATABOX_HOME_DIR}/sample/shopping/click |
全体データの位置 | 20年上半期データの場合: ${DATABOX_HOME_DIR}/shopping20y1h/shopping/click |
ディレクトリ構造 |
2. 商品購入データ(shopping/purchase)
項目 | 説明 |
---|---|
データの紹介 | NAVERログインユーザーがどのような商品を購入したのかを示すデータ (一日購入回数10回以上の商品カテゴリ対象) |
データの提供期間 | - Standard Data: 前年度上半期(1月~6月)、毎年初めにアップデート - Insight Data: 2年前1月~当年年度の前月、毎月にアップデート (単位: 日間単位) |
抽出の対象 | 期間中に購入履歴のある NAVERユーザー |
データ集計の基準 | - date(基準日時): 購入日時 - device(機器): ユーザーが購入に使用したデバイスの情報(mobile/pc) - gender(性別): ユーザーの性別(f/m) - age(年齢層): 5歳単位(-12/13-18/19-24/25-29/30-34/35-39/40-44/45-49/50-54/55-59/60-64/65-69/70-) - loc1(地域1): 住所基準で広域市/道 - loc2(地域2): 住所基準で市/郡/区 - cat(商品カテゴリ): ユーザーがク購入した商品の大/中/小/3つのカテゴリ - count(購入者数): 基準日時、デバイス、性別、年齢層、地域、検索キーワード、商品カテゴリベツに集計 - brand(ブランド名): ユーザーが購入した商品の推定ブランド名 - item(商品名): ユーザーが購入した商品の推定ブランド名 |
サンプルデータの位置 | ${DATABOX_HOME_DIR}/sample/shopping/purchase |
全体データの位置 | 20年上半期データの場合: ${DATABOX_HOME_DIR}/shopping20y1h/shopping/purchase |
ディレクトリ構造 |
3. 商品クリックの共起(shopping/click_cooccurrence)
項目 | 説明 |
---|---|
データの紹介 | NAVERユーザーが1日間にどのような商品を一緒に検索してクリックしたかを示すデータ (日間クリック回数100回以上の検索キーワード/商品カテゴリ対象) |
データの提供期間 | - Standard Data: 前年度上半期(1月~6月)、毎年初めにアップデート - Insight Data: 2年前1月~当年年度の前月、毎月にアップデート (単位: 日間単位) |
抽出の対象 | 期間中に商品クリック履歴のある NAVERログインユーザー |
データ集計の基準 | - week(基準日時): 抽出期間の開始日時 - device(機器): ユーザーが検索に使用したデバイスの情報(mobile/pc) - gender(性別): ユーザーの性別(f/m) - age(年齢層): 5歳単位(-12/13-18/19-24/25-29/30-34/35-39/40-44/45-49/50-54/55-59/60-64/65-69/70-) - loc1(地域1): 住所基準で広域市/道 - loc2(地域2): 住所基準で市/郡/区 - keyword1(流入キーワード1): ユーザーが商品カテゴリ1をクリックする前に検索したキーワード - cat1(商品カテゴリ1): ユーザーがクリックした商品の大/中/小/3つのカテゴリ - keyword2(流入キーワード2): ユーザーが商品カテゴリ2をクリックする前に検索したキーワード - cat2(商品カテゴリ2): ユーザーがクリックした商品の大/中/小/3つのカテゴリ - count(一緒に訪問したユーザー数): 基準日時(週単位), デバイス、性別、年齢層、地域、検索キーワード1、カテゴリ1、検索キーワード2、商品カテゴリ2別に集計(クリック順は考慮しない) |
サンプルデータの位置 | ${DATABOX_HOME_DIR}/sample/shopping/click_cooccurrence |
全体データの位置 | 20年上半期データの場合: ${DATABOX_HOME_DIR}/shopping20y1h/shopping/click_cooccurrence |
ディレクトリ構造 |
4. 商品購入の共起(shopping/purchase_cooccurrence)
項目 | 説明 |
---|---|
データの紹介 | NAVERユーザーが1日の間どのような商品を一緒に購入したのかを示すデータ (日間購入回数10回以上の商品カテゴリが対象) |
データの提供期間 | - Standard Data: 前年度上半期(1月~6月)、毎年初めにアップデート - Insight Data: 2年前1月~当年年度の前月、毎月にアップデート (単位: 日間単位) |
抽出の対象 | 期間中に購入履歴のある NAVERユーザー |
データ集計の基準 | - week(基準日時): 抽出期間の開始日時 - device(機器): ユーザーが検索に使用したデバイスの情報(mobile/pc) - gender(性別): ユーザーの性別(f/m) - age(年齢層): 5歳単位(-12/13-18/19-24/25-29/30-34/35-39/40-44/45-49/50-54/55-59/60-64/65-69/70-) - loc1(地域1): 住所基準で広域市/道 - loc2(地域2): 住所基準で市/郡/区 - cat1(商品カテゴリ1): ユーザーが購入した商品の大/中/小/3つのカテゴリ - cat2(商品カテゴリ2): ユーザーが購入した商品の大/中/小/3つのカテゴリ - count(一緒に購入したユーザー数): 基準日時(週単位)、デバイス、性別、年齢層、地域、商品カテゴリ1、商品カテゴリ2別に集計 |
サンプルデータの位置 | ${DATABOX_HOME_DIR}/sample/shopping/purchase_cooccurrence |
全体データの位置 | 20年上半期データの場合: {DATABOX_HOME_DIR}/shopping20y1h/shopping/purchase_cooccurrence |
ディレクトリ構造 |
AIデータ(ai)
1. リサイクル画像(ai/clova/iitp_waste_images)
項目 | 説明 |
---|---|
データの紹介 | リサイクル画像の収集とラベリング |
データ活用の例 | 実際の環境での工業製品データを利用して画像の分類問題を解決するための技術を開発 |
データ明細 | - データフォーマット: jpg 3,000枚(1280720、7201280)、iitp_waste_images_3000_result.csv - ラベリング情報 1: 一般ゴミ(その他) 2: 紙類 3: キャンケースと鉄製品 4: びん類 5: プラスチック類(PET) 6: ビニール類 7: 発泡スチロール類 8: 食品廃棄物 |
データサンプル(例) | |
全体データの位置 | ${DATABOX_HOME_DIR}/ai/clova/iitp_waste_images |
2. 食べ物の画像(ai/clova/naver_food_fixed)
項目 | 説明 |
---|---|
データの紹介 | 画像の中の食べ物領域をバウンディングボックスでタグ付けしたデータ |
データの位置 | ${DATABOX_HOME_DIR}/ai/clova/naver_food_fixed |
データ活用の例 | 画像の中から必要な要素のみ抽出して学習させた後、問題解決のための AIを開発 |
データ明細 | 直接収集した画像 - データ数: 2042枚 - データフォーマット: jpgイメージ、それぞれについての jsonファイル |
データサンプル(例) | |
全体データの位置 | ${DATABOX_HOME_DIR}/ai/clova/naver_food_fixed |
3. 食堂の画像(ai/clova/externalImageOCR)
項目 | 説明 |
---|---|
データの紹介 | 表示板、立て看板、メニュー、飲食店の看板など、画像に含まれているハングル OCRアノテーションデータ(アルファベットと数字を含む) |
データ活用の例 | 画像からテキストを抽出してデジタルデータに変換する技術を開発 |
データ明細 | 直接収集した看板画像にあるハングル、英字、数字アノテーションデータ - データ数: 1180枚(表示板(signboard)197枚、飲食店の看板(restaurant)324枚、メニュー(menu) 614枚、立て看板(standing_signboard)45枚) - データフォーマット: json、jpg(original image、result image) |
データサンプル(json例) | |
全体データの位置 | ${DATABOX_HOME_DIR}/ai/clova/externalImageOCR |
4. NLPテスト用のニュースデータ(ai/nlp)
項目 | 説明 |
---|---|
データの紹介 | NAVERニュースサービスで収集したニュース記事内容内でインスタンス名(名前)を探し、そのインスタンス名に関連するウィキペディアのページを繋げたデータ |
データ集計の基準 | ニュースのタイトル、本文、カテゴリで構成され、本文のテキスト内にインスタンス名の位置が BIOタグで表示されており、IDが付着している |
データ活用の例 | テキストでインスタンス名(名前)とインスタンスの情報(名前に該当するウィキペディア)を繋げる技術を開発できる(Entity Linking) |
データサンプル(例) | |
全体データの位置 | ${DATABOX_HOME_DIR}/ai/nlp |
インサイトプロオプションデータ
NAVERインサイトプロデータ(pro#1: 小グループ別の ID)
1. 検索クリックデータ(search/click)
項目 | 説明 |
---|---|
データの紹介 | - NAVERユーザーがどのようなキーワードを検索し、どのような領域をクリックしたかを示すデータ - 個人レベルのデータではなく「性別/年齢層/地域」を基準にユーザーをグルーピングして匿名処理したデータ (一日100人以上のユーザーが検索した検索キーワードが対象) |
データの提供期間 | 2年前の1月~当該年度の全体、毎週アップデート(22年2月16日基準、2020年1月~2022年1月) (単位: 日間単位) |
抽出の対象 | NAVERログインユーザー |
データ集計の基準 | - date(基準日時): 検索/クリック日時 - hour(時間帯): 3時間単位でグルーピング(00-02/03-05/06-08/09-11/12-14/15-17/18-20/21-23) - device(機器): ユーザーが検索に使用したデバイスの情報(mobile/pc) - gender(性別): ユーザーの性別(f/m) - user(ユーザーグループ ID): 匿名処理されたユーザーグループ ID - age(年齢層): 5歳単位(-12/13-18/19-24/25-29/30-34/35-39/40-44/45-49/50-54/55-59/60-64/65-69/70-) - loc1(地域1): 住所基準で広域市/道 - loc2(地域2): 住所基準で市/郡/区 - keyword(検索キーワード): NAVER統合検索領域でユーザーが入力したキーワード(小文字に変換、スペースは削除) - area(クリック領域): NAVER統合検索結果でユーザーがクリックしたサービス領域 - count(クリックユーザー数): 基準日、時間帯、デバイス、性別、ユーザーグループ ID、年齢層、地域、検索キーワード、クリック領域別に集計 |
サンプルデータの位置 | ${DATABOX_HOME_DIR}/sample/pro_search/click |
ディレクトリ構造 |
2. 商品クリックデータ(shopping/click)
項目 | 説明 |
---|---|
データの紹介 | - NAVERユーザーがどのようなキーワードを検索してどの商品カテゴリをクリックしたかを示すデータ - 個人レベルのデータではなく「性別/年齢層/地域」を基準にユーザーをグルーピングして匿名処理したデータ (一日のクリック回数100回以上の検索キーワード/商品カテゴリ対象) |
データの提供期間 | 2年前の1月~当該年度の全体、毎週アップデート(22年2月16日基準、2020年1月~2022年1月) (単位: 日間単位) |
抽出の対象 | 期間中に商品クリック履歴のある NAVERログインユーザー |
データ集計の基準 | - date(基準日時): 検索/クリック日時 - hour(時間帯): 3時間単位でグルーピング(00-02/03-05/06-08/09-11/12-14/15-17/18-20/21-23) - device(機器): ユーザーが検索に使用したデバイスの情報(mobile/pc) - gender(性別): ユーザーの性別(f/m) - user(ユーザーグループ ID): 匿名処理されたユーザーグループ ID - age(年齢層): 5歳単位(-12/13-18/19-24/25-29/30-34/35-39/40-44/45-49/50-54/55-59/60-64/65-69/70-) - loc1(地域1): 住所基準で広域市/道 - loc2(地域2): 住所基準で市/郡/区 - keyword(流入キーワード): ユーザーが商品をクリックする前に検索したキーワード - cat(商品カテゴリ): ユーザーがクリックした商品の大/中/小/3つのカテゴリ - count(クリック数): 基準日、時間帯、デバイス、性別、ユーザーグループ ID、年齢層、地域、検索キーワード、商品カテゴリ別に集計 - brand(ブランド名): ユーザーがクリックした商品の推定ブランド名 - item(商品名): ユーザーがクリックした商品の推定ブランド名 |
サンプルデータの位置 | ${DATABOX_HOME_DIR}/sample/pro_shopping/click |
全体データの位置 | 20年上半期データの場合: ${DATABOX_HOME_DIR}/pro20y1h/shopping/click |
ディレクトリ構造 |
3. 商品購入データ(shopping/purchase)
項目 | 説明 |
---|---|
データの紹介 | - NAVERログインユーザーがどのような商品を購入したかを示すデータ - 個人レベルのデータではなく「性別/年齢層/地域」を基準にユーザーをグルーピングして匿名処理したデータ (一日購入回数10回以上の商品カテゴリ対象) |
データの提供期間 | 2年前の1月~当該年度の前月、毎月アップデート(22年2月16日基準、2020年1月~2022年1月) (単位: 日間単位) |
抽出の対象 | 期間中に購入履歴のある NAVERユーザー |
データ集計の基準 | - date(基準日時): 購入日時 - hour(時間帯): 3時間単位でグルーピング(00-02/03-05/06-08/09-11/12-14/15-17/18-20/21-23) - device(機器): ユーザーが購入に使用したデバイスの情報(mobile/pc) - gender(性別): ユーザーの性別(f/m) - user(ユーザーグループ ID): 匿名処理されたユーザーグループ ID - age(年齢層): 5歳単位(-12/13-18/19-24/25-29/30-34/35-39/40-44/45-49/50-54/55-59/60-64/65-69/70-) - loc1(地域1): 住所基準で広域市/道 - loc2(地域2): 住所基準で市/郡/区 - cat(商品カテゴリ): ユーザーがク購入した商品の大/中/小/3つのカテゴリ - count(購入回数): 基準日、時間帯、デバイス、性別、ユーザーグループ ID、年齢層、地域、商品カテゴリ別に集計 - brand(ブランド名): ユーザーが購入した商品の推定ブランド名 - item(商品名): ユーザーが購入した商品の推定ブランド名 |
サンプルデータの位置 | ${DATABOX_HOME_DIR}/sample/pro_shopping/purchase |
全体データの位置 | 20年上半期データの場合: ${DATABOX_HOME_DIR}/pro20y1h/shopping/purchase |
ディレクトリ構造 |
NAVERインサイトプロデータ(pro#2: NAVER NICE評価情報の結合データ)
1. NAVER NICE評価情報の結合データ
項目 | 説明 |
---|---|
データの紹介 | NAVERと NICE評価情報の情報集合物の結合成果物(仮名データ)を活用して作成した匿名情報 - NAVERデータ: NAVERユーザーの NAVERでの行動データをベースとした購入目的、関心事などについてのデータ - NICE評価情報データ: CB等級を保有した満19歳以上90歳未満の対象者の信用情報データ |
データの提供期間 | 前々四半期データから毎四半期ごとにアップデート(22年8月18日を基準、2022年1四半期データを提供、四半期ごとにアップデート) |
抽出の対象 | - NAVER: NAVER会員登録者の中でログインユーザー - NICE評価情報: CB等級を保有した満19歳以上90歳未満の対象者の信用情報データ |
データ集計の基準 | - 身上: 年齢/性別/職業コードなどの個人の身の上に関する情報 - 債務不履行情報: 債務不履行(長期延滞)に関する情報 - 短期延滞情報: 短期延滞に関する情報(貸金業は30日以上延滞) - カード開設と実績情報: カード開設と実績関連情報 - ローン開設と実績情報: ローン開設と実績関連情報 - 償還余力情報(自宅): 自宅の住所地関連の統計情報 - 償還余力情報(職場): 職場の住所地関連の統計情報 - 不動産 ACM: 不動産所有関連の情報 - 模型情報: 信用情報を複合的に活用して産出する模型情報 - 購入目的: ショッピングのクリックや注文、広告検索・クリックなどを利用してユーザーの購入目的を把握した情報 - 関心事: 検索・クリックやカフェ・ブログへの訪問などを利用してユーザーの関心事を把握した情報 |
サンプルデータの位置 | ${DATABOX_HOME_DIR}/sample/nice |