스킬 트레이너 FAQ

Classic/VPC 환경에서 이용 가능합니다.

스킬 트레이너를 사용하면서 발생할 수 있는 문제와 해결 방법에 대해 설명합니다.

시나리오

Q. 스킬 데이터 영역에서 값을 수정하면 다음 Step이 사라집니다. 어떻게 불러올 수 있나요?
A. 스킬 데이터 영역의 값을 수정한 후 [적용] 버튼을 클릭해 주십시오. 스킬 데이터의 값(생각, 액션, 액션 입력) 수정 시 스킬 데이터 영역의 관찰 값과 플래닝 데이터 영역의 값이 초기화되는 것은 정상이며, [적용] 버튼을 클릭하면 수정된 값을 기반으로 생성 결과를 다시 가져오고 다음 Step이 다시 생성됩니다.

Q. 유저 쿼리를 액션 입력 값(URL)으로 변환시키는 과정에서 언어 모델이 파라미터를 잘 생성하지 못합니다. 의도한 대로 액션 입력 값을 생성하려면 어떻게 설정해야 하나요?
A. API Spec에서 파라미터의 “description”에 예시를 추가해 주십시오. 예시가 있으면 언어 모델이 API Spec을 기반으로 유저 쿼리를 이해하여 올바른 파라미터를 갖춘 URL을 생성할 수 있습니다.
<작성 예시>

{
    "keyword": {
        "type": "string",
        "description": "수식어를 의미하며, 관형어와 부사어의 형태입니다. <예시> 친절한, 만족스러운, 좋은",
    },
    "review": {
        "type": "string",
        "description": "긍부정 선호도. <예시> pos, neg 둘 중 하나의 값"
    }
}

Q. 스킬 생성 후 시나리오 수집을 하려고 하는데 불가능하다는 알림이 뜹니다. 어떻게 해결할 수 있나요?
A. 스킬이 '작업 완료' 상태인지 확인해 주십시오.
스킬이 '작업 완료' 상태가 되려면 다음과 같은 조건이 충족되어야 합니다.

• 필수 정보 모두 입력
• API Spec 검증 완료
• 스킬 이름의 중복 확인 완료

Q. 시나리오 작업 중에 오류가 발생했습니다. 로그를 어떻게 확인할 수 있나요?
A. 작업 중 오류가 발생하면 다음 정보와 함께 문의를 남겨 주십시오. 해결 방법을 안내해 드리겠습니다.

• 오류 화면(스크린샷)
• 스킬셋
• 스킬 정보

Q. 유저 쿼리를 입력하고 [실행] 버튼을 클릭했는데 플래닝 데이터가 생성되지 않았습니다. 어떻게 해결하나요?
A. 모델이 스킬의 API Spec 또는 Manifest를 제대로 이해하지 못한 경우, 플래닝 데이터가 생성되지 않을 수 있습니다. 만약 API Spec 및 Manifest의 정보를 영어로 작성했다면 한국어로 다시 작성해 주시고 스킬 정보를 수정해 주십시오.

스킬 튜닝

Q. 튜닝한 스킬셋을 다시 튜닝하면 기존 튜닝 모델이 삭제되나요?
A. 기존 튜닝 모델은 삭제되지 않고, 튜닝한 모델이 추가로 생성됩니다.

Q. 스킬셋을 튜닝할 때 몇 개의 시나리오를 생성하는 것이 좋을까요? 성능을 보장하는 최소 시나리오와 최대 시나리오 개수가 궁금해요.
A. 스킬셋 1개당 50개에서 100개 정도의 시나리오를 생성하는 것을 권장합니다. 튜닝 항목별 최소 시나리오 개수는 다음과 같습니다.

• 생각(필수파라미터) 튜닝: 최소 시나리오 3개
• 액션입력(URL) 튜닝: 최소 시나리오 5개
• 최종 답변 튜닝: 최소 시나리오 100개

API 복잡도에 따라 필요한 시나리오의 수는 달라질 수 있습니다.

Q. 스킬셋을 튜닝하기 위해 [작업 생성] 버튼을 클릭했으나 제가 생성한 스킬셋이 목록에 없어요.
A. 스킬이 '작업 완료' 상태인지 확인해 주십시오. 작업 완료 상태의 스킬만 튜닝할 수 있습니다.

Q. 스킬셋을 튜닝하려면 몇 개의 시나리오가 필요하나요?
A. '작업 완료' 상태인 시나리오가 최소 1개 이상 있어야 스킬셋을 튜닝할 수 있습니다. 다만 스킬셋의 성능을 높이기 위해더 많은 양의 시나리오 수집을 권장합니다.

Q. 9개 시나리오로 튜닝된 모델을 선택하고 1개 시나리오를 다시 튜닝하면 10개의 시나리오가 반영된 튜닝 모델이 생성되는 것이 맞나요?
A. 맞습니다. 튜닝을 요청한 시점에 '작업 완료' 상태의 시나리오가 모두 튜닝 대상이 되므로 10개 시나리오가 모두 반영된 튜닝 모델이 생성됩니다.

스킬셋

Q. 멀티 스킬 시나리오에서 최대 몇 개의 스킬을 사용할 수 있나요?
A. 멀티 스킬 시나리오에서 사용할 수 있는 스킬은 최대 2개입니다. 3개 이상의 스킬을 사용할 경우에는 언어 모델의 성능을 보장할 수 없습니다.

Q. 스킬셋 하나에 몇 개의 스킬을 생성할 수 있나요?
A. 별도의 개수 제한은 없으나, 원활한 이용을 위해 최대 4개를 생성하는 것을 권장합니다.

스킬

Q. 스킬 Endpoint URL에 입력해야 하는 포트가 정해져 있나요?
A. 별도의 포트 제한은 없습니다. Endpoint 관련하여 통신 이슈나 모델의 성능 이슈로 인해 오류가 발생할 수 있습니다. 문제가 계속 발생할 경우, 화면을 캡처하여 문의해 주십시오.

API Spec

Q. API Spec에서 description을 영어로 작성해도 되나요?
A. 영어로 작성하는 것도 가능합니다. 하지만 모델의 성능을 최대한 활용하기 위해 한국어로 작성하는 것을 권장합니다.

Q. 스킬의 Endpoint URL에 https만 지원하나요?
A. Endpoint URL은 http와 https를 모두 지원합니다.

Q. API 호출 시 URL을 path 방식으로 구성해도 되나요?
A. API URL은 argument 방식으로 구성하는 것을 권장합니다. 스킬 모델에 사용되는 학습 데이터가 모두 argument 방식이므로 path 방식으로 구성 시 모델의 성능을 보장할 수 없습니다.

Q. 파라미터 description에는 어떤 내용을 작성하면 되나요?
A. 파라미터 description에는 예시를 작성해 주십시오. 예시가 있으면 모델이 description에 작성된 예시를 기반으로 더 정확한 액션 입력 값을 생성할 수 있습니다.

{
    "date": {
        "type": "string",
        "description": "기준 일자를 의미합니다. 형식은 yyyymmdd를 사용합니다. <예시> 20230101, 20231121, 20210403"
    }
}

Manifest

Q. Multi-path API가 잘 작동하려면 Description for model을 어떻게 작성해야 하나요?
A. Description for model은 하나의 스킬 내에 여러 path가 있는 경우, 유저 쿼리에 적절한 path를 선택하기 위한 정보로 사용됩니다. 따라서 path별 역할에 대해 자세히 작성해야 하며 path별로 검색될 키워드를 작성해야 합니다.
다음과 같이 path 정보와 parameter 정보를 분리하여 명시하면 언어 모델의 성능이 향상될 수 있습니다

• 음료 조회 스킬: 음료를 조회할 때는 /sample_api/beverage을 사용하세요. 이 API는 음료명을 검색어로 입력할 때 잘 작동합니다.
• 주류 조회 스킬: 주류를 조회할 때는 /sample_api/liquor를 사용하세요. 이 API는 주류명을 검색어로 입력할 때 잘 작동합니다.
• 할인 품목 조회 스킬: 일별 할인 품목을 조회할 때는 /sample/event를 사용하세요. 이 API는 날짜를 검색어로 입력할 때 동작하며, 검색 날짜는 무조건 yyyymmdd 형식으로 입력합니다.