Classic/VPC環境で利用できます。
チャットボットに対するユーザーの満足度を高めるには、十分なテストを行う必要があります。モデル学習が完了した後は、チャットボットの作成者が意図した設計通りに動作するか、さらに補強すべき項目はないかをテストして検証するステップが必要です。NAVERクラウドプラットフォームのチャットボットビルダでは、高度化したテストツールを提供しており、テスト環境を設定して学習した会話を直接テストできます。
テストを行うには、会話モデルの学習が完了している必要があるため、まずビルドを完了してください。ビルドしない場合はテストを正常に行えません。
- 手動テスト: 手動で直接質問を入力してテストを行います。
- 自動テスト: エクセルファイルをアップロードして自動でテストを行います。所定の様式の質問リストをアップロードした後、自動テストを通じて抽出される回答を一括で確認できます。
- 品質テスト: 自動テストの高度な機能で、ベータ版が変更されるたびに自動的にテストを行い、データの品質をチェックできます。
手動テスト
連携するメッセンジャーや日付/時間条件を指定するなどテスト環境を直接選択し、学習した会話のテストを行えます。
ビルド完了したチャットボットを手動でテストする方法は、次の通りです。
- NAVERクラウドプラットフォームコンソールで、
> Services > AI Services > CLOVA Chatbot > Domainメニューを順にクリックします。 - 希望するドメインの [ビルダを実行する] ボタンをクリックしてチャットボットビルダを実行します。
- チャットボットビルダで手動テストメニューをクリックします。
- テストを行う環境を設定します。
- テスト環境: テストを行うベータまたはサービス環境を選択できます。
- 日付/時間: 特定の日付/時間を設定してテストを実行できます。
- メッセンジャー: テストを行うメッセンジャーを選択できます。
- コンテキスト: 特定のコンテキストを設定してテストを実行できます。チャットボットサービスの途中からのテストが必要な場合、特定のコンテキストを設定してその部分からテストを開始できます。ただし、コンテキストを設定してテストを開始する場合、ウェルカムメッセージはサポートされません。
- ユーザー変数: ユーザー変数に入っている値を特定の値に設定してテストを開始できます。
- ボイス: 特定のボイスを設定してテストを実行できます。CLOVA AiCallのボイス設定と合わせてからテストを行うことをお勧めします。
- テストの開始方式を選択します。
- ウェルカムから開始: ウェルカムメッセージからテストできます。
- すぐに開始: ウェルカムメッセージなしですぐテストできます。
- テスト画面が表示されると、質問を入力します。
- テストを行う方法は、テスト実行をご参照ください。
- テスト中に [設定確認] ボタンをクリックすると、テスト環境設定を確認できます。
- [初期化] ボタンをクリックすると、テストの設定を変更してテストをやり直すことができます。
- テスト結果を確認します。
- テスト結果の確認方法は、テスト結果確認をご参照ください。
ドメインが AiCallの状態でチャットボットビルダ内で手動テストを行う場合、ビルトイン変数*cicRequest.session.callInfo.calleeと *cicRequest.session.callInfo.callerの情報の値が空欄になっているため、テストが困難です。ただし、テストの設定時にその値を設定すると、手動テスト内でも calleeや caller情報を用いたシナリオをテストできます。
テスト実行
テスト画面に直接テストクエリを入力してテストを行います。
- FAQチャットボットサービスを構築する場合、学習セットとして登録していない様々なバリエーションのユーザー発話が意図に合った適合する会話にマッチングされるのかテストする必要があります。これはチャットボットサービスの意図分析性能をテストするものと見なせます。
- 特定の業務を行う Goal oriented task向けのチャットボットサービスを構築する場合、意図分析性能テストだけでなくシナリオの流れのテストも行うことをお勧めします。ユーザーが引き起こす様々な状況の流れに合わせ、定義されたシナリオをチャットボットが正常にやり切れるのか、またはシナリオの流れに抜け落ちた部分がないのかをテストします。
テスト結果確認
テスト実行画面の右側のタブでは、分析された情報、レスポンス結果に関する情報、log情報を確認できます。この情報を用いて作成者が設計したとおりにチャットボットが正常に動作するかを確認します。最後のターンの情報だけでなく、左側のテスト画面で確認したいターンの吹き出しをクリックすると、そのターンの情報を再度確認できます。
分析された情報タブ
そのターンに分析された情報を確認できます。
- エンティティ: ユーザーの発話の中で分析されたエンティティ情報を確認できます。
- スロット: タスクが開始された場合、そのスロットにどのエンティティが埋められたかの情報を確認できます。
- コンテキスト: 当該ターンから差し引かれたり、追加されたコンテキストの情報や回数情報を確認できます。
- ユーザー変数: 当該ターンにアップデートされたユーザー変数の情報を確認できます。
- ボイス設定: ボイス設定をした場合、吹き出しの下の「もっと見る」をクリックすると確認できます。
レスポンス結果
システムが返した回答/メッセージの情報を確認できます。特定の会話とマッチングされた場合、マッチングの理由を確認できます。また、失敗メッセージや無応答メッセージなどが返された場合でもマッチングの理由を確認できます。
- exactマッチング: 入力したテストクエリと同じ一般質問データがその会話に登録され、マッチングされた場合を指します。
- 正規表現マッチング: 入力したテストクエリのパターンがその会話に登録されている正規表現質問とマッチングされた場合を指します。
- 意図分類器マッチング: 入力したテストクエリに対して意図分類器が分析したインテントが、その会話に登録されているインテント質問とマッチングされた場合を指します。
- モデルマッチング: 入力したテストクエリに対し、会話モデルその会話に類似していると分析してマッチングされた場合を指します。
- 会話移動: 事後動作の会話移動機能を用いて会話移動した場合を指します。
Log確認
ログを確認できます。障害が発生してサポートセンターにお問い合わせの際、そのターンの rawログを伝達すると、より正確な回答が得られます。
自動テスト
テストが必要な質問をエクセルファイルで作成してアップロードすると、その結果をエクセルファイルでダウンロードできます。
自動テストを行う方法は、次の通りです。
- NAVERクラウドプラットフォームコンソールで、 > Services > AI Services > CLOVA Chatbot > Domainメニューを順にクリックします。
- 希望するドメインの [ビルダを実行する] ボタンをクリックしてチャットボットビルダを実行します。
- チャットボットビルダで自動テスト > [一括テスト] タブをクリックします。
- テストの設定領域を開いて日付/時間条件とメッセンジャー条件を設定します。
- [インポート] ボタンをクリックしてテストファイルを登録します。
- xlsと xlsx形式のファイルのみアップロードできます。
- テストファイルがない場合、 [テストテンプレートダウンロード] ボタンをクリックしてテンプレートをダウンロードし、テストファイルを作成します。テンプレートファイルの A列に想定質問を入力します。
- テストメッセージのポップアップが表示されたら、 [確認] ボタンをクリックします。
- タスク結果を確認するには、 [タスク管理] ボタンをクリックします。
- タスクリストで、タスク詳細項目のエクセルファイルリンクをクリックします。
- アップロードしたテストファイルに対する結果を確認できます。
品質テスト
品質テストを行ってチャットボットのバージョン別品質をテストできます。最新のベータ版に変更されるたびに品質評価を自動的に行います。ドメインで主に管理すべき質問と、これとのマッチングが期待される会話名を品質評価データとして登録します。評価が完了すると Pass率を確認することができ、タスク管理ページで詳細内容をダウンロードできます。
品質テストを行う方法は、次の通りです。
- NAVERクラウドプラットフォームコンソールで、 > Services > AI Services > CLOVA Chatbot > Domainメニューを順にクリックします。
- 希望するドメインの [ビルダを実行する] ボタンをクリックしてチャットボットビルダを実行します。
- チャットボットビルダで自動テスト > [品質テスト] タブをクリックします。
- 品質テスト設定の [設定変更] ボタンをクリックします。
- 品質テストのサービス領域を ONに変更します。
- 品質テストファイル領域で [アップロード] ボタンをクリックします。
- 品質テストファイルのアップロード画面に品質テストファイルをアップロードし、 [確認] ボタンをクリックします。
- xlsと xlsx形式のファイルのみアップロードできます。
- テストファイルがない場合、 [品質テスト用テンプレートダウンロード] ボタンをクリックしてテンプレートをダウンロードし、テストファイルを作成します。(A列にはテストするクエリを入力、B列には正解としてマッチングされるべき会話の会話名を入力)
- テストを行う日付/時間条件とメッセンジャーを選択します。
- 日付/時間の設定条件を解除するには、「選択なし」を選択します。
- 品質テスト設定の [保存] ボタンをクリックします。
- ポップアップが表示されたら、 [確認] ボタンをクリックします。
- チャットボットビルドが完了すると、品質評価を自動で行います。
- 品質テスト画面に Pass率が表示され、タスク結果でテスト完了ファイルを確認できます。