测试
  • PDF

测试

  • PDF

若想提高用户对Chatbot的满意度,需要执行足够的测试。完成模型学习后,须转入验证阶段,测试已学习内容是否遵循Chatbot创建者所预定的设计流程运行以及有无需要改进的部分。通过NAVER Cloud Platform的Chatbot Builder提供的高级测试工具,创建者可以在选择测试环境后亲自测试已学习的对话。
需要完成对话模型学习才能进行测试,因此请先完成构建。未构建的情况下无法正常进行测试。

测试种类

  • 手动测试:手动输入问题并测试。
  • 自动测试:上传Excel文件并自动测试。按规定格式上传问题列表后,可以直观地查看经自动测试后提取的回复。
  • 质量测试:是自动测试中的高级功能,在每次Beta版发生变更时自动进行测试以检测数据质量。

手动测试

手动选择拟关联的即时通讯工具和指定日期/时间的条件等测试环境后,可测试已学习的对话。
针对完成构建的Chatbot进行手动测试的方法如下。

  1. 在NAVER Cloud Platform控制台依次点击Services > CLOVA Chatbot > Domain菜单。
  2. 点击所需域的 [运行Builder] 按钮以运行Chatbot Builder。
  3. 在Chatbot Builder中点击手动测试菜单。
  4. 设置测试环境。
    • 测试环境:可以选择拟执行测试的Beta或服务环境。
    • 日期/时间:可以设置特定日期/时间并执行测试。
    • 即时通讯工具:可以选择拟执行测试的即时通讯工具。
    • 上下文:待设置特定上下文后便可开始测试。如果需要从Chatbot服务的中间流程开始测试,则可以设置特定的上下文并从相应部分开始测试。但是,设置上下文后开始测试时不支持欢迎消息。
    • 用户变量:将包含在用户变量的值设置为特定值后便可开始测试。
    • 语音:待设置特定语音后即可进行测试。建议与CLOVA AiCall的语音设置匹配后进行测试。
  5. 选择测试开始方式。
    • 以欢迎消息开始:从欢迎消息开始测试。
    • 立即开始:跳过欢迎消息,立即开始测试。
  6. 显示测试窗口后,输入问题。
    • 关于测试的方法,请参考进行测试
    • 在测试过程中点击 [确认设置] 按钮可以确认测试环境设置。
    • 点击 [重置] 按钮即可变更测试设置后重新开始测试。
  7. 确认测试结果。
参考

当域处于AiCall的状态,需要在Chatbot Builder中进行手动测试的情况下,因内置变量cicRequest.session.callInfo.callee和cicRequest.session.callInfo.caller的信息值为空,而难以进行测试。但是,如果在设置测试时设置了相应值,那么即使在手动测试中也可以使用callee和caller信息来测试场景。

进行测试

在测试窗口中手动输入测试查询以进行测试。

  • 如果正在构建FAQ Chatbot服务,需要测试未添加为学习集的多种变体用户的发言是否与意图相符的对话相匹配。这可以看作是测试Chatbot服务的意图分析性能。
  • 如果正在构建执行特定任务的Goal oriented task形式的Chatbot服务,建议进行意图分析性能测试以及场景流程测试。根据由用户产生的多种情况的流程,需要测试Chatbot是否正确执行了定义的场景,或场景流程中有无遗漏的部分。

chatbot-chatbot-4-4_01_zh

确认测试结果

在测试进度界面的右侧标签中,可以查看分析的信息、响应结果信息和日志信息。使用此信息可验证Chatbot是否按创建者设计的流程正常运行。不仅是针对最后一轮的信息,如果在左侧测试界面上点击拟查看的特定轮的对话框,则可以重新查看该轮的信息。

分析的信息标签
可以查看该轮中分析的信息。

chatbot-chatbot-4-4_02_zh

  • 实体:可查看通过用户的发言所分析的实体信息。
  • 槽:任务开始后,可以查看有关相应槽中填充了哪些实体的信息。
  • 上下文:可查看在相应轮中被扣除或添加的上下文信息和次数信息。
  • 用户变量:可以在该轮中查看更新的用户变量信息。
  • 语音设置:设置语音后,点击对话框下方的“了解更多”以进行查看。

响应结果
可查看系统响应的回复/消息的信息。匹配到特定对话时可查看匹配原因,在响应失败或出现无响应消息时,也能查看匹配失败的原因。
chatbot-chatbot-4-4_03_zh

  • exact匹配:是指和输入的测试查询相同的一般问题数据已添加到该对话且成功匹配的情况。
  • 正则表达式匹配:是指输入的测试查询的模式匹配到已添加到该对话的正则表达式问题的情况。
  • 意图分类器匹配:是指输入的测试查询经意图分类器分析的意图匹配到已添加到该对话的意图问题的情况。
  • 模型匹配:是指输入的测试查询经对话模型分析判断与该对话相似而进行匹配的情况。
  • 移动对话:是指使用后续操作的移动对话功能来移动对话的情况。

查看日志
可查看日志。发生故障后向客服中心咨询时,传递该轮的raw日志便可获取更准确的回复。

自动测试

将需要测试的问题制成Excel文件并上传时,可以以Excel文件格式下载相应结果。
自动测试的方法如下。

  1. 在NAVER Cloud Platform控制台依次点击Services > CLOVA Chatbot > Domain菜单。
  2. 点击所需域的 [运行Builder] 按钮以运行Chatbot Builder。
  3. 在Chatbot Builder中依次点击 自动测试 > [批量测试] 标签。
  4. 打开测试设置区域并设置日期/时间条件和即时通讯工具条件。
  5. 点击 [导入] 按钮以添加测试文件。
    • 仅支持上传XLS和XLSX格式的文件。
    • 若没有测试文件,则点击 [下载测试模板] 按钮以下载模板并创建测试文件。在模板文件的A列中输入预期问题。
  6. 显示测试消息弹窗后,点击 [确定] 按钮。
  7. 点击 [操作管理] 按钮以确认操作结果。
  8. 在操作列表中点击操作明细项目的Excel文件链接。
    • 可确认上传的测试文件的相关结果。

质量测试

质量测试功能可用于测试各个版本Chatbot的质量。程序在最新Beta版每次发生变更时自动进行质量评估。将相应域中需要重点管理的问题和希望与之匹配的对话名称添加为质量评估数据。评估结束后,即可查看通过率,并在操作管理页面下载详情。
质量测试方法如下。

  1. 在NAVER Cloud Platform控制台依次点击Services > CLOVA Chatbot > Domain菜单。
  2. 点击所需域的 [运行Builder] 按钮以运行Chatbot Builder。
  3. 在Chatbot Builder中依次点击 自动测试 菜单 > [质量测试] 标签。
  4. 点击质量测试设置的 [变更设置] 按钮。
  5. 将质量测试服务区域变更为ON。
  6. 点击质量测试文件区域的 [上传] 按钮。
  7. 在质量测试文件上传窗口中上传质量测试文件,然后点击 [确定] 按钮。
    • 仅支持上传XLS和XLSX格式的文件。
    • 若没有测试文件,则点击 [下载质量测试用模板] 按钮以下载模板并创建测试文件。(在A列中输入拟测试的查询,在B列中输入应与正确答案相匹配对话的对话名称)
  8. 选择拟测试的日期/时间条件和即时通讯工具。
    • 如要解除日期/时间设置条件,则选择“不选择”项。
  9. 点击质量测试设置的 [保存] 按钮。
  10. 显示弹窗后,点击 [确定] 按钮。
    • 完成Chatbot构建后会自动进行质量测试。
    • 将在质量测试窗口中显示通过率,并支持在操作结果中查看测试完成的文件。

本文是否有帮助