평가 생성

VPC 환경에서 이용 가능합니다.

Evaluations 화면

Evaluations 화면에서는 서비스 모델이 질문에 대한 답변을 도출하기 위해 적절한 데이터를 검색했는지, 또한 생성한 답변 품질을 대상으로 평가 시스템을 이용하여 평가할 수 있습니다.

평가 생성 순서와 각 순서별 설명은 다음과 같습니다.

• 평가 생성
  • 1. 평가 설정
  • 2. 최종 확인
• 평가 정보 확인
• 평가 삭제

평가 생성

서비스 평가을 생성하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼 콘솔의 VPC 환경에서 Menu > Services > AI Services > RAG 메뉴를 차례대로 클릭해 주십시오.
2. Evaluations 메뉴를 클릭해 주십시오.
3. [평가 생성] 버튼을 클릭해 주십시오.
4. 평가 생성 페이지에서 평가 설정 정보를 입력해 주십시오.
5. [다음] 버튼을 클릭해 주십시오.
6. 최종 확인 단계에서 입력된 정보를 확인해 주십시오.
7. [완료] 버튼을 클릭해 주십시오.

1. 평가 설정

평가를 생성하기 위해 다음의 정보를 입력해 주십시오.

• 평가 대상 선택: 평가를 진행할 서비스 대상을 선택
  • 서비스: 서비스 목록에 등록된 서비스 중 선택
  • 서비스 설명: 서비스 생성 시 입력한 서비스 설명
• 평가 기본 설정: 생성할 평가의 기본 정보 입력
  • 평가 이름: 중복 평가 이름을 허용하며 3~20 자까지 입력 가능
  • 평가 설명: 최대 50 자까지 입력 가능
• 평가 모델 선택: 평가를 진행할 모델 선택
  • 현재 기본 설정 모델만 제공
• 평가 타입: 평가를 진행할 문답 타입 선택
  • 현재 Question and Answer 타입만 제공
• 평가 매트릭 및 데이터셋: 평가를 진행할 데이터 파일 설정 방식 선택
  • 평가 매트릭: 현재 기본 설정 매트릭만 제공
  • 데이터셋 설정: 평가용 데이터셋을 생성하는 방식 선택
    • 자동: 평가용 데이터셋을 자동 생성하며 추가 비용 발생
    • 수동: 사용자가 직접 평가용 데이터셋 생성

2. 최종 확인

평가 설정 단계에서 입력한 정보를 확인 후 [완료] 버튼을 클릭해 주십시오.

평가 정보 확인

생성된 평가 목록은 네이버 클라우드 플랫폼 콘솔의 AI Services > RAG > Evaluations 메뉴에서 확인할 수 있습니다.

Evaluations 메뉴에서 평가 정보를 확인하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼 콘솔의 VPC 환경에서 Menu > Services > AI Services > RAG 메뉴를 차례대로 클릭해 주십시오.
2. Evaluations 메뉴를 클릭해 주십시오.
3. Evaluations 목록에서 정보를 조회할 평가의 버튼을 클릭해 주십시오.
4. 평가 정보 영역이 펼쳐지면 평가 정보를 확인해 주십시오.
   • 평가 이름: 평가 생성 시 입력한 평가 이름
   • 평가 설명: 평가 생성 시 입력한 평가 설명
   • 평가 대상 서비스: 평가 생성 시 선택한 평가 대상 서비스 이름
   • 평가 대상 서비스 설명: 평가 생성 시 선택한 평가 대상 서비스 설명
   • 평가 생성 날짜: 평가를 생성한 일시
   • 평가 완료 날짜: 평가를 완료한 일시
   • 진행 단계: 평가 진행 상태 표시
     • 평가셋 생성중: 자동으로 평가셋 생성을 선택한 경우 표시
     • 평가셋 생성 완료: 자동으로 평가셋 생성을 완료한 경우 표시
     • 평가 진행중: 평가셋을 업로드 후 표시
     • 평가 완료: 평가 진행이 완료된 상태
     • 중지됨: 평가 중지 상태
     • 실패: 평가 실패 상태
     • 데이터 셋 생성 중지: 평가셋 자동 생성 시 중지 버튼을 클릭한 상태
     • 데이터 셋 생성 실패: 평가셋 자동 생성 시 오류 발생으로 생성이 실패한 상태
     • 업로드 대기: 수동으로 평가셋 생성을 선택한 경우 표시
   • 평가셋 타입: 평가 생성 시 데이터셋 설정 항목에서 자동/수동 중 선택한 타입
   • 자동 생성 평가셋: 평가 생성 시 데이터셋 설정 항목에서 자동을 선택한 경우 표시 (수동 설정의 경우 비표시)

평가 삭제

평가 목록에서 평가를 삭제하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼 콘솔의 VPC 환경에서 Menu > Services > AI Services > RAG 메뉴를 차례대로 클릭해 주십시오.
2. Evaluations 메뉴를 클릭해 주십시오.
3. Evaluations 목록에서 삭제할 서비스의 버튼을 클릭해 주십시오.
4. 메뉴를 클릭 후 삭제 메뉴를 클릭해 주십시오.
5. 평가 삭제에서 [확인] 버튼을 클릭해 주십시오.
6. 평가 목록에서 해당 평가가 삭제 됩니다.