マルチメディアインテント連携

Prev Next

Classic/VPC環境で利用できます。

ユーザーがテキストではなくマルチメディアを送信した場合、ユーザーから受け取ったマルチメディアを外部の分析 APIに送信して分析した後、レスポンスを返すことができます。現在は画像インテントにのみ対応しており、LINEメッセンジャーチャンネルで最も円滑に動作します。

  • NAVERクラウドプラットフォームでマルチメディア(画像)インテントを活用する CLOVA OCRサービスを提供しており、マルチメディアインテントとの連携を通じてチャットボットに OCRサービスを連携する機能をサポートします。
  • LINEメッセンジャーでは、従来の画像を処理できる仕様と Push仕様を提供します。LINEメッセンジャーと連携する場合、チャットボットではマルチメディアを入力してもらい OCRでインテントを確認した後、特定の情報をチャットボットに質問として聞き返させることができます。ただし、LINEメッセンジャー以外のプラットフォームでこの機能を使用すると、画像の分析まではできますが、チャットボットの回答はサポートしません。各チャネルの特性により、片方向しかマルチメディアインテントを認識して連携できないなどの制限があります。

マルチメディアインテントと連携する

画像インテントと連携させる方法は、次の通りです。

  1. NAVERクラウドプラットフォームコンソールで、i_menu > Services > AI Services > CLOVA Chatbot > Domainメニューを順にクリックします。
  2. 希望するドメインの [ビルダを実行する] ボタンをクリックしてチャットボットビルダを実行します。
  3. チャットボットビルダでチャットボット設定 > [マルチメディアインテント] タブをクリックします。
  4. 画像インテントの [連携] ボタンをクリックします。
  5. 外部の画像分析ソリューションと連携するを選択します。
    • CLOVA OCRを使用中の場合は CLOVA OCRと連携するを選択(ただし、OCRテンプレートドメインのみ対応)
  6. 画像を認証できる API URLと Secret keyを入力します。
    • ユーザーが画像を送信すると、入力された API URLに画像を転送

画像転送様式: LINEメッセンジャーの場合

{
  "domainCode": "ai.company.v6",
  "userId": "U77c8fe9743a0af83d4dbd57dc2f39e8a",
  "platform": "line",
  "query": "",
  "multimediaLine": {
    "contentId": 11096934827632,
    "typ": "image"
  }
}
値 必須 タイプ 説明
multimediaLine Object N 画像など content id情報を渡す必要があるときに使用
multimediaLine.contentId Long Y 当該 contentの id
multimediaLine.typ String Y 当該 contentのタイプを明示。現在は imageにのみ対応
multimediaLine Object N 画像など content id情報を渡す必要があるときに使用

画像転送様式: Customチャンネルの場合
Push機能を用いているため、LINEメッセンジャー以外のプラットフォームでこの機能を使用すると、画像の分析はできますが、チャットボットのレスポンスはサポートしません。

{
  "domainCode": "ai.company.v6",
  "userId": "U77c8fe9743a0af83d4dbd57dc2f39e8a",
  "platform": "custom",
  "query": "",
  "multimedia": {
    "data": "",
    "typ": "",
    "extension": ""
  }
}
値 必須 タイプ 説明
multimedia Object N 画像などマルチメディアを渡す必要があるときに使用
multimedia.data String Y 当該マルチメディアのデータ
当該データは base64 encodingされている必要がある
multimedia.typ String Y 当該マルチメディアの種類を表記。現在は imageにのみ対応
multimedia.extension String Y 当該マルチメディアのファイル拡張子情報。jpeg、pngなどに対応

画像の分析が完了した後、チャットボットにレスポンスを返す様式
matchedTemplateの nameをチャットボットに質問として聞き返すことになります。

{
  "matchedTemplate": {
  "name": "分析されたテンプレートの名前",
   }
}

マルチメディアインテントを用いた会話の作成

マルチメディアインテントを活用するには、会話の質問を登録する際に質問タイプで「正規表現の質問」を選択し、質問に CLOVA OCRのテンプレート名を入力します。CLOVA OCRで分析したテンプレート名をチャットボットが質問として聞き返すことになります。
外部の画像分析ソリューションと連携されている場合でも、同じ方法で活用できます。
chatbot-chatbot-6-6_01_ko