スキルトレーナー FAQ

Classic/VPC環境で利用できます。

スキルトレーナーを使用する際に発生し得る問題と解決方法について説明します。

スキルセット

Q. 1つのスキルセットに何個のスキルを作成できますか?
A. 10つまで作成できます。ただし、スキル情報(API Spec, Manifest)に保存された文字数によってデータ収集ステップでトークン数の超過エラーが発生することがあります。

Q. スキルセットの回答形式を設定しましたが、データ収集時に最終回答に正確に適用されていないようです。
A. スキルとユーザークエリの複雑性によって設定した回答形式が最終回答に正確に適用されないことがあります。この場合、データ収集画面で最終回答を直接変更した後に学習を実行してください。
例えば、スキルセットの回答形式を「フォーマット: JSON形式」と設定しましたが、実際にモデルが作成した「最終回答 A」形態の場合、「最終回答 B」形態に変更して保存してください。このようなタイプのデータを複数収集した後に学習を行うと改善された回答が得られます。

• 最終回答 A

  2023年8月9日現在、帽子ショッピングの購入転換ユーザー数は次の通りです。ページビュー数は1,003,120、ユーザー数は1,222,334です。
  

• 最終回答 B

  {
     "20230809":{
        "purchase":[
           {
              "pv":"1,003,120",
              "user":"1,222,334"
           }
        ]
     }
  }
  

スキル

Q. スキル作成に必要な APIを開発したいと思います。API開発時の注意点はありますか?
A. APIを開発する時はユーザーが予想できて有用な検索(フィルタ)条件をパラメータとして活用することをお勧めします。もしロールが似ているか同じパラメータ(例: 作成者、編集者、タグされたユーザー、コメント作成者)があると、スキルの精度が下がることがあります。また、APIレスポンスが遅い場合、トークン数の超過エラーを防ぐためにページネーションパラメータを一緒に設計することをお勧めします。また円滑なデータ収集とサービス適用のために事前に APIを呼び出す場合、必須パラメータの有無をご確認ください。

Q. API Specで descriptionを英語で書いてもいいですか?
A. 英語で作成することも可能です。しかし、モデルの性能を最大限に活用するために、韓国語で作成することをお勧めします。

Q. パラメータの descriptionにはどのような内容を書けばよいですか?
A.パラメータの descriptionには例を書いてください。例があれば、モデルが descriptionに作成された例に基づいて、より正確なアクション入力値を作成できます。

{
    "date": {
        "type": "string",
        "description": "基準日を意味します。形式は yyyymmddを使用します。例) 20230101、20231121、20210403"
    }
}

Q. API呼び出し時に URLを path方式で構成してもいいですか?
A. API URLは argument方式で構成することをお勧めします。スキルモデルに使用される学習データはすべて argument方式なので、path方式で構成するとモデルの性能を保証することはできません。

Q. スキル Endpoint URLに入力するポートは決まっていますか?
A. ポートの制限はありません。ただし、Endpointに関する通信不具合やモデルの性能不具合でエラーが発生することがあります。引き続き問題が発生する場合は、画面をキャプチャしてお問い合わせください。

Q. スキルの Endpoint URLは httpsのみサポートしますか?
A. Endpoint URLは httpと httpsのいずれもサポートします。

Q. Multi-path APIがうまく動作するためには、Description for modelをどのように作成すればよいですか?
A. Description for modelは、1つのスキル内に複数の pathがある場合、ユーザークエリに適切な pathを選択するための情報として使用されます。そのため、pathごとのロールについて詳しく作成する必要があり、pathごとに検索されるキーワードを作成する必要があります。
次のように path情報と parameter情報を分離して明示すると、言語モデルの性能を向上させることができます。この時に operationIdではなく、pathを明示します。

作成例)
ドリンクを照会する場合、/sample api/beverageを使用してください。この APIはドリンク名を検索キーワードとして入力するとうまく動作します。酒類を照会する場合、/sample api/liquorを使用してください。この APIは酒類名を検索キーワードとして入力するとうまく動作します。一般割引品目を照会する場合、/sample/eventを使用してください。この APIは日付を検索キーワードとして入力すると動作し、検索日は必ず yyyymmdd形式で入力してください。

データ収集

Q. データ収集時に最大何度のスキル呼び出しを行えますか?
A. データ収集時のスキル呼び出し数に制限はありません。ただし、スキルセット回答作成 APIを通じた呼び出しは最大で4回まで可能で、これを超えると最終回答が作成されない場合がありますので、ご注意ください。

Q. 思った通りのアクション入力作成結果が出ません。思った通りにモデルがアクション入力を作成させるためにはどうすればよいですか?
A. API Specでパラメータの「description」に例を追加してください。例があれば、言語モデルが API Specに基づいてユーザークエリを理解し、正しいパラメータを備えた URLを作成できます。
作成例)

{
    "keyword": {
        "type": "string",
        "description": "修飾語を意味し、連体修飾語と連用修飾語の形です。例) 親切な、満足な、良い",
    },
    "review": {
        "type": "string",
        "description": "肯定否定の選考度。例) pos、negいずれかの値"
    }
}

Q. データ収集時に「プランニングできるスキルがありません」というエラーメッセージが表示されます。ちなみにスキルは「完了」で保存した状態です。
A. モデルがスキルの API Specまたは Manifestを正確に理解できていない場合に発生するエラーです。API Specと Manifestの作成ガイドに従ってモデルが十分理解できるように作成し直してください。引き続き問題が発生する場合は、フォーラムまでお問い合わせください。

Q. データ収集時に「トークン数超過」エラーメッセージが表示されます。トークンがどれくらい超過したのか確認できますか?
A. データ収集時、ステップごとに最大トークン数が4096個に制限されています。各ステップ別にで合算される値は、以下をご参照ください。トークン数を計算するには、CLOVA Studioの エクスプローラ > トークン計算機(HCX)をお使いください。

• クエリ分析: システムプロンプト、ユーザークエリ、Manifest、クエリ分析結果
• スキル呼び出し
  • Step 2(API照会結果確認): システムプロンプト、呼び出し方法、呼び出しスキル、API照会内容、API照会結果、アクション、アクション入力
  • Step 3(呼び出し結果まとめ): システムプロンプト、呼び出し方法、呼び出しスキル、API照会内容、API照会結果、アクション、アクション入力、呼び出し結果、思考、結果まとめ
• 最終回答: システムプロンプト、結果まとめ、最終回答

Q. 呼び出しオプションはデータを収集する度に毎回初期化されますか?
A. 呼び出しオプションを適用してデータ収集を行った後、次のデータ収集のために [初期化] ボタンをクリックしても呼び出しオプションはそのまま維持されます。ただし、データ収集画面を閉じた後にデータ収集画面に再びアクセスした場合は呼び出しオプションが初期化されます。この場合はインポート機能で一時保存したタスクを読み取ると、前に使用した呼び出しオプションを一緒にインポートできます。

目的に応じた呼び出しオプションの作成例を教えてください。
A. スキルセットに登録されているすべての APIに対して一括呼び出しオプションを適用したい場合、baseOperationフィールドを活用できます。作成例は次の通りです。

{
  "baseOperation": {
    "query": {
      "serviceKey": "value"
    }
  }
}

特定 Operation IDに限って呼び出しオプションを適用したい場合、operationsフィールドを活用できます。作成例は次の通りです。

{
  "operations": [
    {
      "operationId": "filterBakeryProducts",
      "query": {
        "serviceKey": "value"
      }
    }
  ]
}

baseOperationフィールドと operationsフィールドを一緒に適用することもできます。作成例は次の通りです。

{
  "baseOperation": {
    "header": {
      "baseHeader": "baseHeaderValue"
    },
    "query": {
      "baseQuery": "baseQueryValue"
    },
    "requestBody": {
      "baseBody": "baseBodyValue"
    }
  },
  "operations": [
    {
      "operationId": "testOperationId1",
      "header": {
        "header1": "headerValue1"
      },
      "query": {
        "query1": "queryValue1"
      },
      "requestBody": {
        "body1": "bodyValue1"
      }
    },
    {
      "operationId": "testOperationId2",
      "header": {
        "header2": "headerValue2"
      },
      "query": {
        "query2": "queryValue2"
      },
      "requestBody": {
        "body2": "bodyValue2"
      }
    }
  ]
}

Q. データ収集タスク中にエラーが発生しました。ログはどのように確認できますか?
A. タスク中にエラーが発生した場合は、以下の情報を添えてお問い合わせください。解決方法をご案内いたします。

• エラー画面(スクリーンショット)
• スキルセット
• スキル情報

Q. ユーザークエリに必須パラメータが欠落している場合、モデルがそのパラメータに対して再びクエリする回答を作成できますか?
A. はい、できます。API設計時に必須パラメータが欠落している場合、エラーコード(ex. HTTPステータスコード400)を返さず正常時のコード(ex. HTTPステータスコード200)を返すようにする必要があります。代わりに欠落しているパラメータを通知するメッセージを一緒に返すことをお勧めします。こうすることで、最終回答領域でモデルが欠落しているパラメータをリクエストする質問を作成し、目的の形式でチューニングと学習を行えます。

データ収集例)

データ学習

Q. データ学習時はモデルに主にどのような内容を学習させますか?
A. データ学習はスキル呼び出し学習と最終回答学習に分けられます。

• スキル呼び出し学習: ユーザーリクエストを実行するための API URLとパラメータをモデルが正確に作成できなかった場合、これを意図に合わせて変更した後にデータを保存すると、学習によってモデルが改善されます。データを変更する時はユーザーリクエストと無関係なキーワードをフィールドに含んではいけません。
• 最終回答学習: スキル呼び出し結果を基に最終回答を作成するプロセスで、モデルが一部の情報漏れや回答のスタイル(様式、口調など)を変更したい場合、これを意図に合わせて変更した後にデータを保存すると学習によってモデルが改善されます。この時にスキル呼び出し結果に表示されていない情報を自己判断で最終回答に含んではいけません。

バージョン管理

Q. スキルセットバージョンは最大何個まで作成できますか?
A. スキルセットバージョンは300つまで保存できます。

Q. バージョンの更新基準を教えてください。
A. スキルセットバージョンを作成、または更新する基準は、次の通りです。

• スキルセットに新規スキルを初めて作成すると、スキルセットの「v1」を作成します。
• スキルセット内に新しいスキルを作成すると、バージョンを更新します。
• スキルセット内に登録されたスキルを削除すると、バージョンを更新します。バージョンメモに削除履歴が残ります。
• 既存スキルを編集して保存すると、バージョンを更新します。
• データ学習が完了すると、バージョンを更新します。