3.18. 优化模型运行时

流程

1. 按照以下步骤部署模型，如 单模型服务平台中的解放模型 中所述。
2. 在 Serving runtime 字段中，为 KServe runtime 选择 vLLM ServingRuntime。

3. 要通过与提示中的 ngrams 匹配 ngrams 来配置 vLLM 模型-serving 运行时，请在 Configuration parameters 部分的 Additional serving runtime 参数 中添加以下参数：

   --speculative-model=[ngram]
   --num-speculative-tokens=<NUM_SPECULATIVE_TOKENS>
   --ngram-prompt-lookup-max=<NGRAM_PROMPT_LOOKUP_MAX>
   --use-v2-block-manager

   1. 将 <NUM_SPECULATIVE_TOKENS&gt; 和 <NGRAM_PROMPT_LOOKUP_MAX > 替换为您自己的值。

      注意

      推断吞吐量因用于使用 n-gram 推测的模型而异。

4. 要使用草案模型为 speculative decoding 配置 vLLM 模型- serving 运行时，请在 配置参数 部分的附加服务 运行时参数下添加以下参数：

   --port=8080
   --served-model-name={{.Name}}
   --distributed-executor-backend=mp
   --model=/mnt/models/<path_to_original_model>
   --speculative-model=/mnt/models/<path_to_speculative_model>
   --num-speculative-tokens=<NUM_SPECULATIVE_TOKENS>
   --use-v2-block-manager

   1. 将 <path_to_speculative_model & gt; 和 <path_to_original_model > 替换为兼容 S3 对象存储上的 speculative 模型和原始模型的路径。
   2. 将 <NUM_SPECULATIVE_TOKENS > 替换为您自己的值。

5. 要为多模式推断配置 vLLM 模型运行时，请在 Configuration parameters 部分中的 Additional service runtime 参数 中添加以下参数：

   --trust-remote-code

   注意

   仅使用来自可信源的模型的 --trust-remote-code 参数。

6. 点 Deploy。