マルチメディアインテントの連携

Classic/VPC環境で利用できます。

ユーザーがテキストではなくマルチメディアを送った場合、ユーザーから受け取ったマルチメディアを外部の分析APIに伝達し、分析してから返答することができます。現在は画像インテントにのみ対応しており、 LINEメッセンジャーチャネルで最も円滑に動作します。

• NAVERクラウドプラットフォームでマルチメディア(画像)インテントを活用するCLOVA OCRサービスを提供しており、マルチメディアインテントとの連携を通じてOCRサービスと連携する機能をサポートします。
• LINEメッセンジャーでは、従来の画像を処理できるスペックとPushスペックを提供しています。LINEメッセンジャーと連携する場合、チャットボットではマルチメディアを入力してもらいOCRでインテントを確認した後、特定の情報をチャットボットに質問として聞き返させることができます。ただし、LINEメッセンジャー以外のプラットフォームでこの機能を使用すると、画像の分析まではできますが、チャットボットの返答はサポートしません。各チャネルの特性により、片方向しかマルチメディアインテントを認識して連携できないなどの制約があります。

マルチメディアインテントと連携する

画像インテントと連携させる方法は以下のとおりです。

1. NAVERクラウドプラットフォームコンソールでServices > CLOVA Chatbot > Domainメニューを順にクリックします。
2. 希望するドメインの [ビルダーを実行する] ボタンをクリックしてチャットボットビルダーを実行します。
3. チャットボットビルダーで チャットボット設定 > マルチメディアインテント タブをクリックします。
4. 画像インテントの [連携] ボタンをクリックします。
5. 外部の画像分析ソリューションと連携する を選択します。
   • CLOVA OCRを使用中の場合は、CLOVA OCRと連携する を選択(ただし、OCRテンプレートドメインのみサポート)
6. 画像を認証できるAPI URLとSecret keyを入力します。
   • ユーザーが画像を転送すると、入力されたAPI URLに画像を伝達

画像の伝達様式：LINEメッセンジャーの場合

{
  "domainCode": "ai.company.v6",
  "userId": "U77c8fe9743a0af83d4dbd57dc2f39e8a",
  "platform": "line",
  "query": "",
  "multimediaLine": {
    "contentId": 11096934827632,
    "typ": "image"
  }
}

画像の伝達様式：Customチャネルの場合
Push機能を用いているため、LINEメッセンジャー以外のプラットフォームでこの機能を使用すると、画像の分析はできますが、チャットボットの返答はサポートしません。

{
  "domainCode": "ai.company.v6",
  "userId": "U77c8fe9743a0af83d4dbd57dc2f39e8a",
  "platform": "custom",
  "query": "",
  "multimedia": {
    "data": "",
    "typ": "",
    "extension": ""
  }
}

画像の分析が完了した後、チャットボットに応答を返す様式
matchedTemplateのnameをチャットボットに質問として聞き返すことになります。

{
  "matchedTemplate": {
  "name": "分析されたテンプレート名",
   }
}

マルチメディアインテントを用いた会話の作成

マルチメディアインテントを活用するには、会話の質問を登録する際に質問タイプで「正規表現の質問」を選択し、質問にCLOVA OCRのテンプレート名を入力します。CLOVA OCRで分析したテンプレート名を、チャットボットが質問としてに聞くことになります。
外部の画像分析ソリューションと連携されている場合でも、同じ方法で活用できます。