5.3. 生成的模型响应质量

在某些情况下，所生成的模型响应的质量可能会在更新后去除去。

在新版本中更新了默认抽样参数源。对于 vLLM 版本 0.8.4 及更高版本，默认的抽样参数来自模型创建器提供的 generation_config.json 文件。在大多数情况下，这会导致更高的质量响应，因为模型创建者可能知道哪个抽样参数最适合其模型。然而，在某些情况下，模型创建者提供的默认值可能会导致性能下降。

如果您遇到这个问题，请使用-- generation-config vllm 服务器参数使用旧默认值提供模型。