Classic/VPC環境で利用できます。
ユーザーの実際の利用方式がチャットボットの設計過程で予測した発話タイプと異なる場合があり、モデリングの際にすべてのユーザーの発話パターンを代表するとは限らないため、統計データや流入されたユーザーの発話記録を分析することは重要なタスクになります。NAVERクラウドプラットフォームは、会話モデルを継続的に改善できるように様々な分析指標を提供します。ドメイン別の統計データや、各ドメインの詳細統計データを確認できます。
統計データ確認
ドメインごとのユーザーまたはユーザー会話に関する統計データを確認するには、NAVERクラウドプラットフォームコンソールで、
> Services > AI Services > CLOVA Chatbot > Managementメニューをクリックします。
概要
ドメイン別ユーザーやユーザー会話について、以下のような統計データを確認できます。
- 実際にサービスが提供されるドメインの実ユーザー、メッセージ、セッション件数と増減率
- 1時間当たりの平均ユーザー数と最大ユーザー数、メッセージ件数、セッション情報
- 平均実ユーザー数と会話セッション別の平均メッセージ件数情報
- チャットボットサービスの会話モデルのビルド数とサービスリリース数
実ユーザー
チャットボット実ユーザーの増減情報を提供します。
- 1日を基準にして照会すると、時間帯別の実ユーザー情報を確認できます。
- 週別、月別の実ユーザー推移情報を提供します。
- 1日を基準にして照会すると、時間帯別メッセージ件数を確認できます。
- 週別、月別のメッセージ推移情報を提供します。
セッション
チャットボット会話セッションの増減情報を提供します。
- 1日を基準にして照会すると、時間帯別のすべてのセッション件数を確認できます。
- 週別、月別の会話セッション推移情報を提供します。
- ユーザーの平均メッセージ情報もセッションごとに確認できます。
ビルド
ドメイン管理者の会話モデルビルドおよびサービスリリース情報を提供します。
- 1日を基準にして照会すると、時間帯別のビルド回数とビルド失敗回数情報を確認できます。
- 週別、月別の会話モデルビルドおよびサービスリリース情報を提供します。
統合指標確認
特定のドメインの統合指標を確認する方法は、次の通りです。
- NAVERクラウドプラットフォームコンソールで、 > Services > AI Services > CLOVA Chatbot > Domainメニューを順にクリックします。
- 希望するドメインの [ビルダを実行する] ボタンをクリックしてチャットボットビルダを実行します。
- チャットボットビルダで統合指標メニューをクリックします。
統合指標
チャットボットユーザーとユーザーの会話について以下の統計データを提供し、最近反映されたデータ時間を表示します。
- チャットボットサービスの実ユーザー、ユーザーメッセージ、会話セッションの件数と増減率、失敗会話、一般メッセージ件数、単一回答件数、類似の回答件数、サポートセンターとの連携件数、サービス連携(LINE Pay、NAVER Pay、知識検索サービス)件数など
- 平均実ユーザー数と会話セッション別の平均メッセージ件数に関する情報とその推移
ランキング指標
チャットボットユーザー会話について以下のランキングデータを提供し、最近反映されたデータ時間を表示します。
- 特定期間中に最も多く返された会話名、会話タイプ、エンティティのランキング
運用指標
失敗会話や不満足な会話の再学習について以下の統計データを提供し、最近反映されたデータ時間を表示します。
- 失敗会話(不満足な会話)件数、変更件数、検討保留件数、検討除外件数、全検討件数
フィードバック指標
フィードバックに関連した会話について以下の統計データを提供し、最近反映されたデータ時間を表示します。
- YES/NOフィードバックの割合、フィードバックの満足率・応答率、総フィードバック件数、会話名別のフィードバック件数
韓国語ドメインでは、ユーザーの質問に含まれた感情を肯定的、否定的、中立的と分析した感情分析データを提供します。データをクリックすると、それぞれの感情に分類された質問を確認できます。