Red Hat Summit 红帽全球峰会支持控制台（Console）开发人员开始试用联系人

5.2. 配置 KServe 的自动安装

如果您还没有在 OpenShift 集群上创建 ServiceMeshControlPlane 或 KNativeServing 资源，您可以将 Red Hat OpenShift AI Operator 配置为安装 KServe 并配置其依赖项。

您可以在 高级 或标准 部署模式中配置 KServe。如需更多信息，请参阅关于 KServe 部署模式。如果为 高级 部署模式配置 KServe，您可以设置数据科学项目，以 高级 和标准 部署模式提供模型。但是，如果您只 为标准 部署模式配置 KServe，则只能使用 标准 部署模式。

重要

如果您在集群中创建了 ServiceMeshControlPlane 或 KNativeServing 资源，Red Hat OpenShift AI Operator 无法安装 KServe 并配置其依赖项，且安装不会继续。在这种情况下，您必须按照手动安装说明来安装 KServe。

先决条件

  • 具有集群管理员特权。
  • 您的集群有一个有 4 个 CPU 和 16 GB 内存的节点。
  • 您已下载并安装 OpenShift 命令行界面 (CLI)。如需更多信息 ，请参阅安装 OpenShift CLI。

  • （高级部署模式）： 您已安装了 Red Hat OpenShift Service Mesh Operator 和依赖的 Operator。

    注意

    要启用 KServe 的自动安装，请只 为 Red Hat OpenShift Service Mesh 安装所需的 Operator。不要执行任何其他配置或创建 ServiceMeshControlPlane 资源。

  • （高级部署模式）： 已安装了 Red Hat OpenShift Serverless Operator。

    注意

    要启用 KServe 的自动安装，请只 安装 Red Hat OpenShift Serverless Operator。不要执行任何其他配置或创建 KNativeServing 资源。

  • 已安装 Red Hat OpenShift AI Operator 并创建了 DataScienceCluster 对象。
  • （高级部署模式）：要将 Authorino 添加为授权提供程序，以便您可以为部署的模型启用令牌身份验证，已安装了 Red Hat - Authorino Operator。请参阅 安装 Authorino Operator。

流程

  1. 以集群管理员身份登录 OpenShift Web 控制台。
  2. 在 Web 控制台中，点 Operators Installed Operators，然后点 Red Hat OpenShift AI Operator。

  3. 按照如下所示安装 OpenShift Service Mesh：

    1. 点 DSC 初始化选项卡。
    2. 点 default-dsci 对象。
    3. 点 YAML 标签。

    4. （高级部署模式）：在 spec 部分中，验证 serviceMesh 组件的 managementState 字段的值是否已设置为 Managed，如下所示： 

      spec:
 applicationsNamespace: redhat-ods-applications
 serviceMesh:
   controlPlane:
     metricsCollection: Istio
     name: data-science-smcp
     namespace: istio-system
   managementState: Managed
      Copy to Clipboard Toggle word wrap

    5. （标准部署模式）：在 spec 部分中，验证 serviceMesh 组件的 managementState 字段的值是否已设置为 Removed，如下所示： 

      spec:
 applicationsNamespace: redhat-ods-applications
 serviceMesh:
   controlPlane:
     metricsCollection: Istio
     name: data-science-smcp
     namespace: istio-system
   managementState: Removed
      Copy to Clipboard Toggle word wrap
      注意

      不要更改为 serviceMesh 组件指定的 istio-system 命名空间。不支持其他命名空间值。

    6. 点击 Save。

      根据添加到 DSCInitialization 对象的配置，Red Hat OpenShift AI Operator 安装 OpenShift Service Mesh。

  4. （仅标准部署模式）：安装 KServe，如下所示：

    1. 在 Web 控制台中，点 Operators Installed Operators，然后点 Red Hat OpenShift AI Operator。
    2. 点 Data Science Cluster 选项卡。
    3. 单击 default-dsc DSC 对象。
    4. 点 YAML 标签。

    5. 在 spec.components 部分中，配置 kserve 组件，如下所示。 

      kserve:
    defaultDeploymentMode: RawDeployment
    RawDeploymentServiceConfig: Headed
      1 
      
    managementState: Managed
    serving:
      managementState: Removed
      2 
      
      name: knative-serving
      Copy to Clipboard Toggle word wrap

    6. 点击 Save。

      上述配置在标准部署模式下安装 KServe，它基于 KServe RawDeployment 功能。在这个配置中，观察以下详情：

      1
      显示的配置使用 标头 配置来允许集群对工作负载副本执行正常的负载均衡。对于客户端上的环境 inference 请求负载均衡，请将 RawDeploymentServiceConfig 设置为 无头 的。
      2
      managementState 设置为 Removed。

  5. （高级部署模式）：安装 KServe 和 OpenShift Serverless，如下所示：

    1. 在 Web 控制台中，点 Operators Installed Operators，然后点 Red Hat OpenShift AI Operator。
    2. 点 Data Science Cluster 选项卡。
    3. 单击 default-dsc DSC 对象。
    4. 点 YAML 标签。

    5. 在 spec.components 部分中，配置 kserve 组件，如下所示。 

      spec:
 components:
   kserve:
     managementState: Managed
     defaultDeploymentMode: Serverless
      1 
      
     RawDeploymentServiceConfig: Headed
      2 
      
     serving:
       ingressGateway:
         certificate:
           secretName: knative-serving-cert
      3 
      
           type: OpenshiftDefaultIngress
      4 
      
       managementState: Managed
       name: knative-serving
      Copy to Clipboard Toggle word wrap

    6. 点击 Save。

      上述配置为 OpenShift Serverless 创建一个入口网关，以接收来自 OpenShift Service Mesh 的流量。在此配置中，可以使用标准模式和高级模式。

      1
      显示的配置使用配置 KServe 后选择的默认部署模式。在使用 KServe 创建和部署模型时，您可以设置默认值。要使用标准模式作为默认模式，请将 defaultDeploymentMode 设置为 RawDeployment。要使用 advanced 模式作为默认值，请将 defaultDeploymentMode 设置为 Serverless。
      2
      显示的配置使用 标头 配置来允许集群对工作负载副本执行正常的负载均衡。对于客户端上的环境 inference 请求负载均衡，请将 RawDeploymentServiceConfig 设置为 无头 的。
      3
      显示的配置使用为 OpenShift 配置的默认入口证书来保护进入 OpenShift 集群的流量，并将证书存储在 secretName 字段中指定的 knative-serving-cert secret 中。secretName 字段只能在安装时设置。secretName 字段的默认值为 knative-serving-cert。必须手动对证书 secret 进行后续更改。如果您在安装过程中没有使用默认的 secretName 值，请在 istio-system 命名空间中创建一个名为 knative-serving-cert 的新 secret，然后重启 istiod-datascience-smcp-<suffix> pod。
      4
      您可以通过更新 type 字段的值来指定以下证书类型：
      • provided
      • selfSigned

      • OpenshiftDefaultIngress

        要使用自签名证书或提供您自己的证书，请更新 secretName 字段的值以指定您的 secret 名称，并将 type 字段的值更改为 SelfSigned 或 Provided。

        注意

        如果提供自己的证书，证书必须指定 OpenShift 集群的入口控制器使用的域名。您可以运行以下命令来检查这个值：

        $ oc get ingresses.config.openshift.io cluster -o jsonpath='{.spec.domain}'

      • 对于 kserve 和 serving 组件，您必须将 managementState 字段的值设置为 Managed。将 kserve.managementState 设置为 Managed 触发器自动安装 KServe。将 service.managementState 设置为 Managed 会触发 OpenShift Serverless 自动安装。但是，如果 kserve.managementState 没有设置为 Managed，则 不会触发 OpenShift Serverless 安装。

验证

  • 验证 KServe 安装，如下所示：

    • 在 Web 控制台中，点击 Workloads Pods。
    • 从项目列表中，选择 redhat-ods-applications。这是安装 OpenShift AI 组件的项目，包括 KServe。

    • 确认项目包含 KServe 控制器管理器正在运行的 pod，如下例所示： 

      NAME                                          READY   STATUS    RESTARTS   AGE
kserve-controller-manager-7fbb7bccd4-t4c5g    1/1     Running   0          22h
odh-model-controller-6c4759cc9b-cftmk         1/1     Running   0          129m
odh-model-controller-6c4759cc9b-ngj8b         1/1     Running   0          129m
odh-model-controller-6c4759cc9b-vnhq5         1/1     Running   0          129m
      Copy to Clipboard Toggle word wrap

  • （仅限高级部署模式）：验证 OpenShift Service Mesh 安装，如下所示：

    • 在 Web 控制台中，点击 Workloads Pods。
    • 在项目列表中选择 istio-system。这是安装 OpenShift Service Mesh 的项目。

    • 确认存在用于服务网格 control plane、入口网关和出口网关的 pod。这些 pod 具有以下示例中显示的命名模式： 

      NAME                                      		  READY     STATUS    RESTARTS   AGE
istio-egressgateway-7c46668687-fzsqj      	 	  1/1       Running   0          22h
istio-ingressgateway-77f94d8f85-fhsp9      		  1/1       Running   0          22h
istiod-data-science-smcp-cc8cfd9b8-2rkg4  		  1/1       Running   0          22h
      Copy to Clipboard Toggle word wrap

  • （仅限高级部署模式）：验证 OpenShift Serverless 安装，如下所示：

    • 在 Web 控制台中，点击 Workloads Pods。
    • 从项目列表中，选择 knative-serving。这是安装 OpenShift Serverless 的项目。

    • 确认 knative-serving 项目中有许多正在运行的 Pod，包括 activator、autoscaler、controller 和域映射 Pod，以及用于 Knative Istio 控制器（控制 OpenShift Serverless 和 OpenShift Service Mesh 集成）的 Pod。显示了一个示例。 

      NAME                                     	READY     STATUS    RESTARTS  AGE
activator-7586f6f744-nvdlb               	2/2       Running   0         22h
activator-7586f6f744-sd77w               	2/2       Running   0         22h
autoscaler-764fdf5d45-p2v98             	2/2       Running   0         22h
autoscaler-764fdf5d45-x7dc6              	2/2       Running   0         22h
autoscaler-hpa-7c7c4cd96d-2lkzg          	1/1       Running   0         22h
autoscaler-hpa-7c7c4cd96d-gks9j         	1/1       Running   0         22h
controller-5fdfc9567c-6cj9d              	1/1       Running   0         22h
controller-5fdfc9567c-bf5x7              	1/1       Running   0         22h
domain-mapping-56ccd85968-2hjvp          	1/1       Running   0         22h
domain-mapping-56ccd85968-lg6mw          	1/1       Running   0         22h
domainmapping-webhook-769b88695c-gp2hk   	1/1       Running   0         22h
domainmapping-webhook-769b88695c-npn8g   	1/1       Running   0         22h
net-istio-controller-7dfc6f668c-jb4xk    	1/1       Running   0         22h
net-istio-controller-7dfc6f668c-jxs5p    	1/1       Running   0         22h
net-istio-webhook-66d8f75d6f-bgd5r       	1/1       Running   0         22h
net-istio-webhook-66d8f75d6f-hld75      	1/1       Running   0         22h
webhook-7d49878bc4-8xjbr                 	1/1       Running   0         22h
webhook-7d49878bc4-s4xx4                 	1/1       Running   0         22h
      Copy to Clipboard Toggle word wrap
返回顶部
Red Hat logoGithubredditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务，以及可以信赖的内容，帮助红帽用户创新并实现他们的目标。 了解我们当前的更新.

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情，请参阅红帽博客.

關於紅帽

我们提供强化的解决方案，使企业能够更轻松地跨平台和环境（从核心数据中心到网络边缘）工作。

Theme

© 2025 Red Hat