6.5. 在控制面板中执行模型评估

流程

1. 在控制面板中，点 Models > Model evaluation run。Model 评估页面将打开。它包含：

   1. 开始评估运行 按钮。如果您还没有运行以前的评估，则只会显示此按钮。
   2. 您之前运行的评估列表（如果存在）。
   3. 您可以点击 项目下拉菜单 选项来显示与一个项目相关的评估，而不是所有项目。
   4. 根据模型或评估名称对评估进行排序的过滤器。

   下表概述了评估列表的元素和功能：

2. 从 Project 下拉菜单中选择您要评估该模型的项目的命名空间。
3. 点 Start evaluation run 按钮。此时会显示 Model 评估表单。

4. 填写表单的详细信息。模型参数概述会在填写表单详情后显示：

   1. Model name ：从项目中所有部署的 LLMs 中选择一个模型。
   2. 评估名称 ：为您的评估提供唯一名称。
   3. 任务 ：选择一个或多个评估任务，以测量您的 LLM。支持 100 个最常见的评估任务。

   4. model type: 根据您使用的提示格式类型选择模型类型：

      1. local-completion ：您自己编译整个提示链。当您想评估接受纯文本提示符的模型并返回延续时，请使用此选项。
      2. local-chat-completion ：框架会自动注入角色或模板。将此用于模拟对话的模型，方法是使用 user 和 assistant 等角色获取聊天消息列表并适当地回复。

   5. 安全设置 ：

      1. 在线可用 ：选择 enable 以允许您的模型访问互联网来下载数据集。

      2. 信任 远程代码 ：选择 enable 以允许您的模型信任项目外部的代码。

         注意

         如果全局设置中的 security 选项设置为 active，则 Security settings 部分会被灰显。

5. 在填写表单详情后，会看到一个模型参数概述。

6. 完成令牌程序设置：

   1. Tokenized requests ：如果设为 true，则评估请求将划分成令牌。如果设置为 false，则评估数据集将保留为原始文本。
   2. Tokenizer: 键入评估所需的模型令牌程序 URL。

7. 单击 Evaluate。屏幕返回到项目的 Model 评估页面，您的作业会显示在 evaluations 列表中。

   注意
   • 根据硬件支持、模型大小和评估任务类型等因素，可以花时间完成评估。status 列报告评估的当前状态： 已完成、运行 或 failed。
   • 如果您的评估失败，集群中的评估 pod 日志会提供更多信息。