提供データの詳細説明

VPC環境で利用できます。

Cloud Data Boxでは NAVER検索やショッピングなどユーザーの行動データ、AI学習用画像やアノテーションデータ、ニュース記事と NLP分析のためのインスタンスデータなどを提供します。
データボックスを作成すると、検索とショッピングのサンプルデータを基本的に提供します。サンプルデータは Cloud Hadoop HDFSにアップロードして提供し、Ncloud TensorFlow Serverに NASを read-onlyとしてマウントして提供します。分析環境の構成後にデータの供給を申し込むと、基本オプション(前年度の上半期)の検索やショッピング、AIデータを Cloud Hadoopと Ncloud TensorFlow Serverに NASを read-onlyとしてマウントして提供します。インサイトオプションを申し込むと、前々年度の上半期から前月までの最新データを提供し、毎月15日に前月のデータを追加で提供します。

Cloud Data Boxで提供するデータについて詳細に説明します。

基本データとインサイトオプションデータ

検索データ(search)

1. 検索クリックデータ(search/click)

項目	説明
データの紹介	NAVERユーザーがどのようなキーワードを検索して、領域をクリックしたかを示すデータ (一日100人以上のユーザーが検索した検索キーワードが対象)
データの提供期間	Standard Data: 前年上半期(1月~6月)、毎年アップデート Insight Data: 2年前の1月~その年の前月、毎月アップデート(21年8月現在、2019年1月~2021年7月) (単位: 日間単位)
抽出の対象	期間中にクリック履歴のある NAVERログインユーザー
データ集計の基準	date(基準日): 検索/クリックの日付 device(デバイス): ユーザーが検索に使用したデバイス情報(mobile/pc) gender(性別): ユーザーの性別(f/m) age(年齢層): 5歳単位(-12/13-18/19-24/25-29/30-34/35-39/40-44/45-49/50-54/55-59/60-64/65-69/70-) loc1(地域1): 住所地基準の広域市/道 loc2(地域2): 住所地基準の市/郡/区 keyword(検索キーワード): NAVER統合検索領域でユーザーが入力したキーワード(小文字変換、スペース削除) area(クリックエリア): NAVER統合検索結果でユーザーがクリックしたサービスエリア count(クリックユーザー数): 基準日、デバイス、性別、年齢層、地域、検索キーワード、クリックエリア別に集計
サンプルデータの位置	${DATABOX_HOME_DIR}/sample/search/click
全体データの位置	20年上半期データの場合: ${DATABOX_HOME_DIR}/search20y1h/search/click
ディレクトリ構造

2. 検索クリック共起(search/click_cooccurrence)

項目	説明
データの紹介	NAVERユーザーが1日間一緒に検索/クリックした情報を示すデータ (一週間で100人以上のユーザーが検索した検索キーワード対象)
データの提供期間	Standard Data: 前年上半期(1月~6月)、毎年初めにアップデート Insight Data: 2年前1月~当該年の前月、毎月アップデート (単位: 日間単位)
抽出の対象	期間中にクリック履歴のある NAVERログインユーザー
データ集計の基準	week(基準日): 検索/クリックの日付 device(デバイス): ユーザーが検索に使用したデバイス情報(mobile/pc) gender(性別): ユーザーの性別(f/m) age(年齢層): 5歳単位(-12/13-18/19-24/25-29/30-34/35-39/40-44/45-49/50-54/55-59/60-64/65-69/70-) loc1(地域1): 住所地基準の広域市/道 loc2(地域2): 住所地基準の市/郡/区 keyword1(検索キーワード1): NAVER統合検索領域でユーザーが入力したキーワード(小文字変換、スペース削除) area1(クリックエリア1): 検索キーワード1の NAVER統合検索結果でユーザーがクリックしたサービスエリア keyword2(検索キーワード2): NAVER統合検索領域でユーザーが入力したキーワード(小文字変換、スペース削除) area2(クリックエリア2): 検索キーワード1の NAVER統合検索結果でユーザーがクリックしたサービスエリア count(一緒にクリックしたユーザー数): 基準日、デバイス、性別、年齢層、地域、検索キーワード1、クリックエリア1、検索キーワード2、クリックエリア2別に集計(検索キーワード1と2の順番は考慮しない)
サンプルデータの位置	${DATABOX_HOME_DIR}/sample/search/click_cooccurrence
全体データの位置	20年上半期データの場合: ${DATABOX_HOME_DIR}/search20y1h/search/click_cooccurrence
ディレクトリ構造

3. 検索アクセス地(search/click_location)

項目	説明
データの紹介	NAVERユーザーがどの地域でキーワードを検索してクリックしたかを示すデータ (アクセス地域は IPアドレス基盤で測定するため、精度に誤差がある場合がある)
データの提供期間	Standard Data: 前年上半期(1月~6月)、毎年初めにアップデート Insight Data: 2年前1月~当該年の前月(毎月アップデート) (単位: 日間単位)
抽出の対象	期間中にクリック履歴のある NAVERログインユーザー
データ集計の基準	date(基準日): 検索/クリックの日付 time(時間帯): 3時間単位でグループ化(00-02/03-05/06-08/09-11/12-14/15-17/18-20/21-23) device(デバイス): ユーザーが検索に使用したデバイス情報(mobile/pc) gender(性別): ユーザーの性別(f/m) age(年齢層): 5歳単位(-12/13-18/19-24/25-29/30-34/35-39/40-44/45-49/50-54/55-59/60-64/65-69/70-) loc1(地域1): アクセス地域(広域市/道)。アクセス IPアドレスベースで測定される地域 loc2(地域2): アクセス地域(市/郡/区)。アクセス IPアドレスベースで測定される地域 keyword(検索キーワード): NAVER統合検索領域でユーザーが入力したキーワード(小文字変換、スペース削除)。一日の間に異なるユーザーが検索したキーワード(検索後、クリックまで進んだ場合のみ集計) count(クリックユーザー数): 基準日、時間帯、デバイス、性別、年齢層、地域、検索キーワード別に集計
サンプルデータの位置	${DATABOX_DIR}/sample/search/click_location
全体データの位置	20年上半期データの場合: ${DATABOX_DIR}/search20y1h/search/click_location
ディレクトリ構造

ショッピングデータ(shopping)

1. 商品クリックデータ(shopping/click)

項目	説明
データの紹介	NAVERユーザーがどのようなキーワードを検索してどの商品カテゴリをクリックしたかを示すデータ (一日のクリック回数100回以上の検索キーワード/商品カテゴリ対象)
データの提供期間	Standard Data: 前年上半期(1月~6月)、毎年初めにアップデート Insight Data: 2年前1月~当該年の前月、毎月アップデート (単位: 日間単位)
抽出の対象	期間中に商品クリック履歴のある NAVERログインユーザー
データ集計の基準	date(基準日): 検索/クリックの日付 device(デバイス): ユーザーが検索に使用したデバイス情報(mobile/pc) gender(性別): ユーザーの性別(f/m) age(年齢層): 5歳単位(-12/13-18/19-24/25-29/30-34/35-39/40-44/45-49/50-54/55-59/60-64/65-69/70-) loc1(地域1): 住所地基準の広域市/道 loc2(地域2): 住所地基準の市/郡/区 keyword(流入キーワード): ユーザーが商品をクリックする前に検索したキーワード cat(商品カテゴリー): ユーザーがクリックした商品の大/中/小/細カテゴリー count(訪問者数): 基準日、デバイス、性別、年齢層、地域、商品カテゴリー、検索キーワード別に集計 brand(ブランド名): ユーザーがクリックした商品の推定ブランド名 item(商品名): ユーザーがクリックした商品の推定商品名
サンプルデータの位置	${DATABOX_HOME_DIR}/sample/shopping/click
全体データの位置	20年上半期データの場合: ${DATABOX_HOME_DIR}/shopping20y1h/shopping/click
ディレクトリ構造

2. 商品購入データ(shopping/purchase)

項目	説明
データの紹介	NAVERログインユーザーがどのような商品を購入したのかを示すデータ (一日購入回数10回以上の商品カテゴリ対象)
データの提供期間	Standard Data: 前年上半期(1月~6月)、毎年初めにアップデート Insight Data: 2年前1月~当該年の前月、毎月アップデート (単位: 日間単位)
抽出の対象	期間中に購入履歴のある NAVERユーザー
データ集計の基準	date(基準日): 購入日付 device(デバイス): ユーザーが検索に使用したデバイス情報(mobile/pc) gender(性別): ユーザーの性別(f/m) age(年齢層): 5歳単位(-12/13-18/19-24/25-29/30-34/35-39/40-44/45-49/50-54/55-59/60-64/65-69/70-) loc1(地域1): 住所地基準の広域市/道 loc2(地域2): 住所地基準の市/郡/区 cat(商品カテゴリー): ユーザーが購入した商品の大/中/小/細カテゴリー count(購入者数): 基準日、デバイス、性別、年齢層、地域、検索キーワード、商品カテゴリー別に集計 brand(ブランド名): ユーザーが購入した商品の推定ブランド名 item(商品名): ユーザーが購入した商品の推定商品名
サンプルデータの位置	${DATABOX_HOME_DIR}/sample/shopping/purchase
全体データの位置	20年上半期データの場合: ${DATABOX_HOME_DIR}/shopping20y1h/shopping/purchase
ディレクトリ構造

3. 商品クリックの共起(shopping/click_cooccurrence)

項目	説明
データの紹介	NAVERユーザーが1日間にどのような商品を一緒に検索してクリックしたかを示すデータ (日間クリック回数100回以上の検索キーワード/商品カテゴリ対象)
データの提供期間	Standard Data: 前年上半期(1月~6月)、毎年初めにアップデート Insight Data: 2年前1月~当該年の前月、毎月アップデート (単位: 日間単位)
抽出の対象	期間中に商品クリック履歴のある NAVERログインユーザー
データ集計の基準	week(基準日): 抽出期間の開始日 device(デバイス): ユーザーが検索に使用したデバイス情報(mobile/pc) gender(性別): ユーザーの性別(f/m) age(年齢層): 5歳単位(-12/13-18/19-24/25-29/30-34/35-39/40-44/45-49/50-54/55-59/60-64/65-69/70-) loc1(地域1): 住所地基準の広域市/道 loc2(地域2): 住所地基準の市/郡/区 keyword1(流入キーワード1): ユーザーが商品カテゴリー1をクリックする前に検索したキーワード cat1(商品カテゴリー1): ユーザーがクリックした商品の大/中/小/細カテゴリー keyword2(流入キーワード2): ユーザーが商品カテゴリー2をクリックする前に検索したキーワード cat2(商品カテゴリー2): ユーザーがクリックした商品の大/中/小/細カテゴリー count(一緒に訪問したユーザー数): 基準日(週単位)、デバイス、性別、年齢層、地域、検索キーワード1、商品カテゴリー1、検索キーワード2、商品カテゴリー2別に集計(クリック順は考慮しない)
サンプルデータの位置	${DATABOX_HOME_DIR}/sample/shopping/click_cooccurrence
全体データの位置	20年上半期データの場合: ${DATABOX_HOME_DIR}/shopping20y1h/shopping/click_cooccurrence
ディレクトリ構造

4. 商品購入の共起(shopping/purchase_cooccurrence)

項目	説明
データの紹介	NAVERユーザーが1日の間どのような商品を一緒に購入したのかを示すデータ (日間購入回数10回以上の商品カテゴリが対象)
データの提供期間	Standard Data: 前年上半期(1月~6月)、毎年初めにアップデート Insight Data: 2年前1月~当該年の前月、毎月アップデート (単位: 日間単位)
抽出の対象	期間中に購入履歴のある NAVERユーザー
データ集計の基準	week(基準日): 抽出期間の開始日 device(デバイス): ユーザーが検索に使用したデバイス情報(mobile/pc) gender(性別): ユーザーの性別(f/m) age(年齢層): 5歳単位(-12/13-18/19-24/25-29/30-34/35-39/40-44/45-49/50-54/55-59/60-64/65-69/70-) loc1(地域1): 住所地基準の広域市/道 loc2(地域2): 住所地基準の市/郡/区 cat1(商品カテゴリー1): ユーザーがクリックした商品の大/中/小/細カテゴリー cat2(商品カテゴリー2): ユーザーが購入した商品の大/中/小/細カテゴリー count(一緒に訪問したユーザー数): 基準日(週単位)、デバイス、性別、年齢層、地域、商品カテゴリー1、商品カテゴリー2別に集計
サンプルデータの位置	${DATABOX_HOME_DIR}/sample/shopping/purchase_cooccurrence
全体データの位置	20年上半期データの場合: {DATABOX_HOME_DIR}/shopping20y1h/shopping/purchase_cooccurrence
ディレクトリ構造

AIデータ(ai)

1. リサイクル画像(ai/clova/iitp waste images)

項目	説明
データの紹介	リサイクル画像の収集とラベリング
データ活用の例	実際の環境での工業製品データを利用して画像の分類問題を解決するための技術を開発
データ明細	データフォーマット: jpg 3,000枚(1280720, 7201280), iitp_waste_images_3000_result.csv ラベル付け情報 1: 一般ゴミ(その他) 2: 紙類 3: 缶・スクラップ金属類 4: びん類 5: プラスチック類(PET) 6: ビニール類 7: 発泡スチロール類 8: 食品廃棄物
データサンプル(例)
全体データの位置	${DATABOX_HOME_DIR}/ai/clova/iitp_waste_images

2. 食べ物の画像(ai/clova/naver food fixed)

項目	説明
データの紹介	画像の中の食べ物領域をバウンディングボックスでタグ付けしたデータ
データの位置	${DATABOX_HOME_DIR}/ai/clova/naver_food_fixed
データ活用の例	画像の中から必要な要素のみ抽出して学習させた後、問題解決のための AIを開発
データ明細	直接収集した画像 データ数: 2,042枚 データフォーマット: jpg画像、それぞれの jsonファイル
データサンプル(例)
全体データの位置	${DATABOX_HOME_DIR}/ai/clova/naver_food_fixed

3. 食堂の画像(ai/clova/externalImageOCR)

項目	説明
データの紹介	表示板、立て看板、メニュー、飲食店の看板など、画像に含まれているハングル OCRアノテーションデータ(英数字を含む)
データ活用の例	画像からテキストを抽出してデジタルデータに変換する技術を開発
データ明細	直接収集した看板画像にあるハングル、英数字のアノテーションデータ データ数: 1180枚(看板(signboard)197枚、飲食店の看板(restaurant)324枚、メニュー(menu)614枚、立看板(standing_signboard)45枚) データフォーマット: json、jpg(original image、result image)
データサンプル(json例)
全体データの位置	${DATABOX_HOME_DIR}/ai/clova/externalImageOCR

4. NLPテスト用のニュースデータ(ai/nlp)

項目	説明
データの紹介	NAVERニュースサービスで収集したニュース記事内容内でインスタンス名(名前)を探し、そのインスタンス名に関連するウィキペディアのページを繋げたデータ
データ集計の基準	ニュースのタイトル、本文、カテゴリで構成され、本文のテキスト内にインスタンス名の位置が BIOタグで表示されており、IDが付着している
データ活用の例	テキストでインスタンス名(名前)とインスタンスの情報(名前に該当するウィキペディア)を繋げる技術を開発できる(Entity Linking)
データサンプル(例)
全体データの位置	${DATABOX_HOME_DIR}/ai/nlp

インサイトプロオプションデータ

NAVERインサイトプロデータ(pro#1: 小グループ別の ID)

1. 検索クリックデータ(search/click)

項目	説明
データの紹介	NAVERユーザーがどのキーワードを検索し、どの領域をクリックしたかを示すデータ 個人レベルのデータではなく、「性別/年齢層/地域」を基準にユーザーをグループ化して匿名化したデータ (一日100人以上のユーザーが検索した検索キーワードが対象)
データの提供期間	2年前の1月~当該年度の全体、毎週アップデート(22年2月16日基準、2020年1月~2022年1月) (単位: 日間単位)
抽出の対象	NAVERログインユーザー
データ集計の基準	date(基準日): 検索/クリックの日付 hour(時間帯): 3時間単位でグループ化(00-02/03-05/06-08/09-11/12-14/15-17/18-20/21-23) device(デバイス): ユーザーが検索に使用したデバイス情報(mobile/pc) gender(性別): ユーザーの性別(f/m) user(ユーザーグループ ID): 匿名化されたユーザーグループ ID age(年齢層): 5歳単位(-12/13-18/19-24/25-29/30-34/35-39/40-44/45-49/50-54/55-59/60-64/65-69/70-) loc1(地域1): 住所地基準の広域市/道 loc2(地域2): 住所地基準の市/郡/区 keyword(検索キーワード): NAVER統合検索領域でユーザーが入力したキーワード(小文字変換、スペース削除) area(クリックエリア): NAVER統合検索結果でユーザーがクリックしたサービスエリア count(クリック数): 基準日、時間帯、デバイス、性別、ユーザーグループ ID、年齢層、地域、検索キーワード、クリックエリア別に集計
サンプルデータの位置	${DATABOX_HOME_DIR}/sample/pro_search/click
ディレクトリ構造

2. 商品クリックデータ(shopping/click)

項目	説明
データの紹介	NAVERユーザーがどのキーワードを検索し、どの商品カテゴリーの商品をクリックしたかを示すデータ 個人レベルのデータではなく、「性別/年齢層/地域」を基準にユーザーをグループ化して匿名化したデータ (一日のクリック回数100回以上の検索キーワード/商品カテゴリ対象)
データの提供期間	2年前の1月~当該年度の全体、毎週アップデート(22年2月16日基準、2020年1月~2022年1月) (単位: 日間単位)
抽出の対象	期間中に商品クリック履歴のある NAVERログインユーザー
データ集計の基準	date(基準日): 検索/クリックの日付 hour(時間帯): 3時間単位でグループ化(00-02/03-05/06-08/09-11/12-14/15-17/18-20/21-23) device(デバイス): ユーザーが検索に使用したデバイス情報(mobile/pc) gender(性別): ユーザーの性別(f/m) user(ユーザーグループ ID): 匿名化されたユーザーグループ ID age(年齢層): 5歳単位(-12/13-18/19-24/25-29/30-34/35-39/40-44/45-49/50-54/55-59/60-64/65-69/70-) loc1(地域1): 住所地基準の広域市/道 loc2(地域2): 住所地基準の市/郡/区 keyword(流入キーワード): ユーザーが商品をクリックする前に検索したキーワード cat(商品カテゴリー): ユーザーがクリックした商品の大/中/小/中/小/細カテゴリー count(クリック数): 基準日、時間帯、デバイス、性別、ユーザーグループ ID、年齢層、地域、検索キーワード、商品カテゴリー別に集計 brand(ブランド名): ユーザーがクリックした商品の推定ブランド名 item(商品名): ユーザーがクリックした商品の推定商品名
サンプルデータの位置	${DATABOX_HOME_DIR}/sample/pro_shopping/click
全体データの位置	20年上半期データの場合: ${DATABOX_HOME_DIR}/pro20y1h/shopping/click
ディレクトリ構造

3. 商品購入データ(shopping/purchase)

項目	説明
データの紹介	NAVERログインユーザーがどの商品を購入したかを示すデータ 個人レベルのデータではなく、「性別/年齢層/地域」を基準にユーザーをグループ化して匿名化したデータ (一日購入回数10回以上の商品カテゴリ対象)
データの提供期間	2年前の1月~当該年度の前月、毎月アップデート(22年2月16日基準、2020年1月~2022年1月) (単位: 日間単位)
抽出の対象	期間中に購入履歴のある NAVERユーザー
データ集計の基準	date(基準日): 購入日付 hour(時間帯): 3時間単位でグループ化(00-02/03-05/06-08/09-11/12-14/15-17/18-20/21-23) device(デバイス): ユーザーが検索に使用したデバイス情報(mobile/pc) gender(性別): ユーザーの性別(f/m) user(ユーザーグループ ID): 匿名化されたユーザーグループ ID age(年齢層): 5歳単位(-12/13-18/19-24/25-29/30-34/35-39/40-44/45-49/50-54/55-59/60-64/65-69/70-) loc1(地域1): 住所地基準の広域市/道 loc2(地域2): 住所地基準の市/郡/区 cat(商品カテゴリー): ユーザーが購入した商品の大/中/小/細カテゴリー count(購入回数): 基準日、時間帯、デバイス、性別、ユーザーグループ ID、年齢層、地域、商品カテゴリー別に集計 brand(ブランド名): ユーザーが購入した商品の推定ブランド名 item(商品名): ユーザーが購入した商品の推定商品名
サンプルデータの位置	${DATABOX_HOME_DIR}/sample/pro_shopping/purchase
全体データの位置	20年上半期データの場合: ${DATABOX_HOME_DIR}/pro20y1h/shopping/purchase
ディレクトリ構造

NAVERインサイトプロデータ(pro#2: NAVER NICE評価情報の結合データ)

1. NAVER NICE評価情報の結合データ