第 2 章 激活 Llama Stack Operator
您可以通过在 OpenShift AI Operator DataScienceCluster 自定义资源(CR)中将 managementState 设置为 Managed 来激活 OpenShift 集群上的 Llama Stack Operator。此设置启用了基于 Llama 的模型服务,而无需重新安装或直接编辑 Operator 订阅。您可以在 OpenShift Web 控制台中或使用 OpenShift 命令行界面(CLI)编辑 CR。
作为遵循此流程中的步骤的替代选择,您可以运行以下命令来从 OpenShift 命令行界面(CLI)激活 Llama Stack Operator:
oc patch datasciencecluster <name> --type=merge -p {"spec":{"components":{"llamastackoperator":{"managementState":"Managed"}}}}
$ oc patch datasciencecluster <name> --type=merge -p {"spec":{"components":{"llamastackoperator":{"managementState":"Managed"}}}}
将 <name > 替换为您的 DataScienceCluster 名称,如 default-dsc。
先决条件
- 您需要有集群管理员特权。
-
已安装 OpenShift 命令行界面(
oc),如 安装 OpenShift CLI (OpenShift Dedicated) 或 安装 OpenShift CLI (Red Hat OpenShift Service on AWS) 所述。 - 在集群中安装了 Red Hat OpenShift AI Operator。
-
在您的环境中有一个
DataScienceCluster自定义资源;默认值为default-dsc。 -
您的基础架构支持启用了 GPU 的实例类型,如 AWS 上的
g4dn.xlarge。 - 您已在 OpenShift AI 中启用 GPU 支持,包括安装 Node Feature Discovery Operator 和 NVIDIA GPU Operator。如需更多信息,请参阅安装 Node Feature Discovery Operator 和 启用 NVIDIA GPU。
-
您已在集群中创建了
NodeFeatureDiscovery资源实例,如 安装 Node Feature Discovery Operator 和创建 NVIDIA 文档中的 NodeFeatureDiscovery 实例 中所述。 -
您已创建了带有集群中默认值的
ClusterPolicy资源实例,如 NVIDIA 文档中的 创建 ClusterPolicy 实例 中所述。
流程
- 以集群管理员身份登录 OpenShift Web 控制台。
-
在 Administrator 视角中,点 Operators
Installed Operators。 - 点 Red Hat OpenShift AI Operator 打开其详情。
- 点 Data Science Cluster 选项卡。
-
在 DataScienceClusters 页面中,点
default-dsc对象。 点 YAML 标签。
嵌入式 YAML 编辑器会打开,显示
DataScienceCluster自定义资源的配置。在 YAML 编辑器中,找到
spec.components部分。如果llamastackoperator字段不存在,请添加它。然后,将managementState字段设置为Managed:spec: components: llamastackoperator: managementState: Managedspec: components: llamastackoperator: managementState: ManagedCopy to Clipboard Copied! Toggle word wrap Toggle overflow - 点击 Save 以应用您的更改。
验证
激活 Llama Stack Operator 后,验证它是否在集群中运行:
-
在 OpenShift Web 控制台中,点击 Workloads
Pods。 - 从 Project 列表中,选择 redhat-ods-applications 命名空间。
-
确认显示带有标签
app.kubernetes.io/name=llama-stack-operator的 pod,其状态为 Running。