VPC環境で利用できます。
Evaluations画面
Evaluations画面では、サービスモデルが質問に対する回答を導き出すために適切なデータを検索したかどうか、また、作成した回答の品質を対象に評価システムを利用して評価できます。
| 領域 | 説明 |
|---|---|
| ① メニュー名 |
|
| ② 基本機能 | Evaluationsメニューに初回アクセスすると提供される機能
|
| ③ 評価リスト | 作成された評価リスト
|
| ④ 評価セットのダウンロード | 自動的に評価セット作成を選択し、作成が完了した場合に表示 |
| ⑤ 評価セットのアップロード | [アップロード] : 評価セットデータファイルをアップロード |
| ⑥ ダウンロード | [ダウンロード] : 評価が完了した評価結果をダウンロード |
| ⑦ 開く/閉じる | 評価情報と評価管理メニュー |
評価作成手順と各手順の説明は、次の通りです。
評価作成
サービス評価を作成する方法は、次の通りです。
- NAVERクラウドプラットフォームコンソールの VPC環境で、
> Services > AI Services > RAGメニューを順にクリックします。 - Evaluationsメニューをクリックします。
- [評価作成] ボタンをクリックします。
- 評価作成ページで評価設定情報を入力します。
- [次へ] ボタンをクリックします。
- 最終確認ステップで入力された情報を確認します。
- [完了] ボタンをクリックします。
1.評価設定
評価を作成するために、以下の情報を入力します。
- 評価対象選択: 評価を行うサービス対象を選択
- サービス: サービスリストに登録されているサービスから選択
- サービスの説明: サービス作成時に入力したサービスの説明
- 評価基本設定: 作成する評価の基本情報を入力
- 評価名: 重複した評価名を許可し、3~20文字まで入力可能
- 評価の説明: 最大50文字まで入力可能
- 評価モデル選択: 評価を行うモデルを選択
- 現在、デフォルト設定モデルのみ提供
- 評価タイプ: 評価を行う問答タイプを選択
- 現在、Question and Answerタイプのみ提供
- 評価メトリックとデータセット: 評価を行うデータファイルの設定方法を選択
- 評価メトリック: 現在、デフォルト設定メトリックのみ提供
- データセット設定: 評価用データセットの作成方法を選択
- 自動: 評価用データセットを自動作成し、追加料金が発生
- 手動: ユーザーが直接評価用データセットを作成
注意
データセット設定の自動作成を選択した場合、追加料金が発生します。
2.最終確認
評価設定ステップで入力した情報を確認し、 [完了] ボタンをクリックします。
評価情報確認
作成された評価リストは NAVERクラウドプラットフォームコンソールの AI Services > RAG > Evaluationsメニューで確認できます。
Evaluationsメニューで評価情報を確認する方法は、次の通りです。
- NAVERクラウドプラットフォームコンソールの VPC環境で、 > Services > AI Services > RAGメニューを順にクリックします。
- Evaluationsメニューをクリックします。
- Evaluationsリストから、情報を照会する評価の
ボタンをクリックします。 - 評価情報領域が展開されたら、評価情報をご確認ください。
- 評価名: 評価作成時に入力した評価の名前
- 評価の説明: 評価作成時に入力した評価の説明
- 評価対象サービス: 評価作成時に選択した評価対象サービスの名前
- 評価対象サービスの説明: 評価作成時に選択した評価対象サービスの説明
- 評価作成日: 評価を作成した日時
- 評価完了日: 評価が完了した日時
- 進捗状況: 評価の進捗ステータスを表示
- 評価セット作成中: 評価セット作成タイプを自動に設定した場合に表示
- 評価セット作成完了: 評価セット作成タイプを自動に設定して完了した場合に表示
- 評価中: 評価セットのアップロード後に表示
- 評価完了: 評価が完了したステータス
- 停止: 評価が停止したステータス
- 失敗: 評価に失敗したステータス
- データセット作成停止: 評価セットの自動作成時に停止ボタンをクリックしたステータス
- データセット作成失敗: 評価セットの自動作成時にエラーが発生し、作成に失敗したステータス
- アップロード待ち: 評価セット作成タイプを手動に設定した場合に表示
- 評価セットタイプ: 評価作成時にデータセット設定項目で自動/手動の中から選択したタイプ
- 自動作成評価セット: 評価作成時にデータセット設定項目で自動を選択した場合に表示(手動設定の場合は非表示)
評価削除
評価リストから評価を削除する方法は、次の通りです。
- NAVERクラウドプラットフォームコンソールの VPC環境で、 > Services > AI Services > RAGメニューを順にクリックします。
- Evaluationsメニューをクリックします。
- Evaluationsリストから、削除するサービスの ボタンをクリックします。
メニューをクリックし、削除メニューをクリックします。- 評価削除で [確認] ボタンをクリックします。
- 評価リストから当該評価が削除されます。
注意
評価削除後には復旧できず、評価が既に開始されている場合、進行した分に対して料金が発生することがあります。