テスト

Classic/VPC環境で利用できます。

チャットボットに対するユーザー満足度を向上させるには、十分なテストが必要です。モデル学習が完了すると、チャットボット作成者が意図した設計通り動作しているか、さらに補強する項目はないかをテストして検証する段階が必要です。NAVERクラウドプラットフォームのチャットボットビルダーでは、高度化したテストツールを提供しており、テスト環境を設定して学習した会話を直接テストすることができます。
テストを行うには、会話モデルの学習が完了している必要があります。先にビルドを完了してください。ビルドしない場合はテストを正常に行えません。

テストの種類

• 手動テスト：手動で直接質問を入力してテストを行います。
• 自動テスト：エクセルファイルをアップロードして自動でテストを行います。決められた様式の質問リストをアップロードし、自動テストを通じて抽出される返答を一括して確認できます。
• 品質テスト：自動テストの高度な機能で、ベータ版が変更されるたびに自動的にテストを行い、データの品質をチェックすることができます。

手動テスト

連携するメッセンジャーや日付・時間条件を指定するなどテスト環境を直接選択し、学習した会話のテストを行えます。
ビルド完了したチャットボットを手動でテストする方法は以下のとおりです。

1. NAVERクラウドプラットフォームのコンソールでServices > CLOVA Chatbot > Domainメニューを順にクリックします。
2. 希望するドメインの [ビルダーを実行する] ボタンをクリックしてチャットボットビルダーを実行します。
3. チャットボットビルダーで 手動テスト メニューをクリックします。
4. テストを行う環境を設定します。
   • テスト環境：テストを行うベータまたはサービス環境を選択できます。
   • 日付/時間：特定の日付/時間を設定してテストを行うことができます。
   • メッセンジャー：テストを行うメッセンジャーを選択できます。
   • コンテキスト：特定のコンテキストを設定してテストを行うことができます。チャットボットサービスの途中からのテストが必要な場合、特定のコンテキストを設定してその部分からテストを開始することができます。ただし、コンテキストを設定してテストを開始する場合、ウェルカムメッセージはサポートされません。
   • ユーザー変数：ユーザー変数に入っている値を特定の値に設定してテストを開始することができます。
   • ボイス：特定のボイスを設定してテストを行うことができます。CLOVA AiCallのボイス設定と合わせてからテストを行うことをお勧めします。
5. テストの開始方式を選択します。
   • ウェルカムから開始：ウェルカムメッセージからテストできます。
   • すぐに開始：ウェルカムメッセージなしですぐテストできます。
6. テスト画面が表示されると、質問を入力します。
   • テストを行う方法は、テストの実行をご参照ください。
   • テスト中に [設定を確認] ボタンをクリックすると、テスト環境設定を確認できます。
   • [初期化] ボタンをクリックすると、テストの設定を変更してテストをやり直すことができます。
7. テスト結果を確認します。
   • テスト結果の確認方法は、テスト結果の確認をご参照ください。

テストの実行

テスト画面に直接テストクエリを入力してテストを行います。

• FAQチャットボットサービスを構築する場合、学習セットとして登録していない様々なバリエーションのユーザー発話が意図に合った適合する会話にマッチングされるのかテストする必要があります。これはチャットボットサービスの意図分析性能をテストするものといえます。
• 特定の業務を行うGoal oriented task向けのチャットボットサービスを構築する場合、意図分析性能テストだけでなくシナリオの流れのテストも行うことをお勧めします。ユーザーが引き起こす様々な状況の流れに合わせ、定義されたシナリオをチャットボットが正常にやり切れるのか、またはシナリオの流れに抜け落ちた部分がないのかをテストします。

テスト結果の確認

テスト実行画面の右側のタブでは、分析された情報、応答結果に関する情報、log情報を確認できます。この情報を用いて作成者が設計したとおりにチャットボットが正常に動作するのか確認します。最後のターンの情報だけでなく、左側のテスト画面で確認したいターンの吹き出しをクリックすると、そのターンの情報を再度確認できます。

分析された情報タブ
そのターンに分析された情報を確認できます。

• エンティティ：ユーザーの発話の中で分析されたエンティティ情報を確認できます。
• スロット：タスクが開始された場合、そのスロットにどんなエンティティが埋められたのかの情報を確認できます。
• コンテキスト：そのターンから差し引かれたり、追加されたコンテキストの情報や回数情報を確認できます。
• ユーザー変数：そのターンにアップデートされたユーザー変数の情報を確認できます。
• ボイス設定：ボイス設定をした場合、吹き出しの下の「もっと見る」をクリックすると確認できます。

応答の結果
システムが返した返答/メッセージの情報を確認できます。特定の会話とマッチングされた場合、マッチングの理由を確認できます。また、失敗メッセージや無応答メッセージなどが返された場合でもマッチングの理由を確認できます。

• exactマッチング：入力したテストクエリと同じ一般質問データがその会話に登録され、マッチングされた場合をいいます。
• 正規表現マッチング：入力したテストクエリのパターンがその会話に登録されている正規表現の質問とマッチングされた場合をいいます。
• 意図分類器マッチング：入力したテストクエリに対して意図分類器が分析したインテントが、その会話に登録されているインテントの質問とマッチングされた場合をいいます。
• モデルマッチング：入力したテストクエリに対し、会話モデルがその会話に類似していると分析してマッチングされた場合をいいます。
• 会話移動：事後動作の会話移動機能を用いて会話移動した場合をいいます。

Logの確認
ログを確認できます。障害が発生してサポートセンターに問い合わせる場合、そのターンのrawログを伝達するとより正確な回答を受け取ることができます。

自動テスト

テストが必要な質問をエクセルファイルで作成してアップロードすると、その結果をエクセルファイルでダウンロードできます。
自動テストを行う方法は以下のとおりです。

1. NAVERクラウドプラットフォームのコンソールでServices > CLOVA Chatbot > Domainメニューを順にクリックします。
2. 希望するドメインの [ビルダーを実行する] ボタンをクリックしてチャットボットビルダーを実行します。
3. チャットボットビルダーで自動テスト > [一括テスト] タブをクリックします。
4. テストの設定領域を開いて日付/時間条件とメッセンジャー条件を設定します。
5. [インポートする] ボタンをクリックしてテストファイルを登録します。
   • XLSとXLSX形式のファイルのみアップロードできます。
   • テストファイルがない場合、[テストテンプレートをダウンロード] ボタンをクリックしてテンプレートをダウンロードし、テストファイルを作成します。テンプレートファイルのA列に想定質問を入力します。
6. テストメッセージのポップアップが表示されたら、[確認] ボタンをクリックします。
7. 作業の結果を確認するには、[作業管理] ボタンをクリックします。
8. 作業リストで、作業詳細項目のエクセルファイルリンクをクリックします。
   • アップロードしたテストファイルに対する結果を確認できます。

品質テスト

品質テストを行ってチャットボットのバージョン別品質をテストできます。最新のベータ版に変更されるたびに品質評価を自動的に行います。ドメインで主に管理すべき質問と、これとのマッチングが期待される会話名を品質評価データとして登録します。評価が完了するとPass率を確認することができ、作業管理ページで詳細内容をダウンロードできます。
品質テストを行う方法は以下のとおりです。

1. NAVERクラウドプラットフォームのコンソールでServices > CLOVA Chatbot > Domainメニューを順にクリックします。
2. 希望するドメインの [ビルダーを実行する] ボタンをクリックしてチャットボットビルダーを実行します。
3. チャットボットビルダーで自動テスト メニュー > [品質テスト] タブをクリックします。
4. 品質テスト設定の [設定変更] ボタンをクリックします。
5. 品質テストのサービス領域をONに変更します。
6. 品質テストファイル領域で [アップロード] ボタンをクリックします。
7. 品質テストファイルのアップロード画面に品質テストファイルをアップロードし、[確認] ボタンをクリックします。
   • XLSとXLSX形式のファイルのみアップロードできます。
   • テストファイルがない場合、[品質テスト用テンプレートをダウンロード] ボタンをクリックしてテンプレートをダウンロードし、テストファイルを作成します。(A列にはテストするクエリを入力、B列には正解としてマッチングされるべき会話の会話名を入力)
8. テストを行う日付/時間条件とメッセンジャーを選択します。
   • 日付/時間の設定条件を解除するには、「選択なし」を選択します。
9. 品質テスト設定の [保存] ボタンをクリックします。
10. ポップアップが表示されたら、[確認] ボタンをクリックします。
    • チャットボットビルドが完了すると、品質評価を自動で行います。
    • 品質テスト画面にPass率が表示され、作業結果でテスト完了ファイルを確認できます。