主页
产品
OpenShift Sandboxed Containers
1.9
用户指南
4.4. 使用命令行部署 OpenShift 沙盒容器

4.4. 使用命令行部署 OpenShift 沙盒容器

您可以使用命令行界面(CLI)在 Azure 上部署 OpenShift 沙盒容器，以执行以下任务：

安装 OpenShift 沙盒容器 Operator。
可选：更改每个 worker 节点上运行的虚拟机数量。
可选：如果您卸载了 Cloud Credential Operator，它与 OpenShift 沙盒容器 Operator 一起安装的，则创建 peer pod secret。
可选：选择自定义 pod 虚拟机镜像。
创建对等 pod 配置映射。
可选：创建 Azure secret。
可选：自定义 Kata 代理策略。
创建 KataConfig 自定义资源。
配置 OpenShift 沙盒容器工作负载对象。

4.4.1. 安装 OpenShift 沙盒容器 Operator

您可以使用 CLI 安装 OpenShift 沙盒容器 Operator。

先决条件

已安装 OpenShift CLI(oc)。
您可以使用具有 cluster-admin 角色的用户访问集群。

流程

创建 osc-namespace.yaml 清单文件：

apiVersion: v1
kind: Namespace
metadata:
  name: openshift-sandboxed-containers-operator

运行以下命令创建命名空间：
```
$ oc apply -f osc-namespace.yaml
```

创建 osc-operatorgroup.yaml 清单文件：

apiVersion: operators.coreos.com/v1
kind: OperatorGroup
metadata:
  name: sandboxed-containers-operator-group
  namespace: openshift-sandboxed-containers-operator
spec:
  targetNamespaces:
  - openshift-sandboxed-containers-operator

运行以下命令来创建 operator 组：
```
$ oc apply -f osc-operatorgroup.yaml
```

创建 osc-subscription.yaml 清单文件：

apiVersion: operators.coreos.com/v1alpha1
kind: Subscription
metadata:
  name: sandboxed-containers-operator
  namespace: openshift-sandboxed-containers-operator
spec:
  channel: stable
  installPlanApproval: Automatic
  name: sandboxed-containers-operator
  source: redhat-operators
  sourceNamespace: openshift-marketplace
  startingCSV: sandboxed-containers-operator.v1.9.0

运行以下命令来创建订阅：
```
$ oc apply -f osc-subscription.yaml
```
运行以下命令验证 Operator 是否已正确安装：
```
$ oc get csv -n openshift-sandboxed-containers-operator
```
此命令可能需要几分钟来完成。

运行以下命令监控进程：

$ watch oc get csv -n openshift-sandboxed-containers-operator

输出示例

NAME                             DISPLAY                                  VERSION             REPLACES                   PHASE
openshift-sandboxed-containers   openshift-sandboxed-containers-operator  1.9.0    1.8.1        Succeeded

其他资源

在受限网络中使用 Operator Lifecycle Manager。
为断开连接的环境在 Operator Lifecycle Manager 中配置代理支持。

4.4.2. 创建对等 pod secret

当对等 pod secret 为空并安装 Cloud Credential Operator (CCO)时，OpenShift 沙盒容器 Operator 会使用 CCO 检索 secret。如果卸载了 CCO，您必须手动为 OpenShift 沙盒容器创建对等 pod secret，否则对等 pod 将无法操作。

secret 存储用于创建 pod 虚拟机(VM)镜像和对等 pod 实例的凭证。

默认情况下，OpenShift 沙盒容器 Operator 根据用于创建集群的凭证创建 secret。但是，您可以手动创建使用不同的凭证的 secret。

先决条件

已安装并配置了 Azure CLI 工具。

流程

运行以下命令来检索 Azure 订阅 ID：

$ AZURE_SUBSCRIPTION_ID=$(az account list --query "[?isDefault].id" \
  -o tsv) && echo "AZURE_SUBSCRIPTION_ID: \"$AZURE_SUBSCRIPTION_ID\""

运行以下命令来生成 RBAC 内容：

$ az ad sp create-for-rbac --role Contributor --scopes /subscriptions/$AZURE_SUBSCRIPTION_ID \
  --query "{ client_id: appId, client_secret: password, tenant_id: tenant }"

输出示例

{
  "client_id": `AZURE_CLIENT_ID`,
  "client_secret": `AZURE_CLIENT_SECRET`,
  "tenant_id": `AZURE_TENANT_ID`
}

记录要在 secret 对象中使用的 RBAC 输出。

根据以下示例创建 peer-pods-secret.yaml 清单文件：

apiVersion: v1
kind: Secret
metadata:
  name: peer-pods-secret
  namespace: openshift-sandboxed-containers-operator
type: Opaque
stringData:
  AZURE_CLIENT_ID: "<azure_client_id>" 1
  AZURE_CLIENT_SECRET: "<azure_client_secret>" 2
  AZURE_TENANT_ID: "<azure_tenant_id>" 3
  AZURE_SUBSCRIPTION_ID: "<azure_subscription_id>" 4

1: 指定 AZURE_CLIENT_ID 值。
2: 指定 AZURE_CLIENT_SECRET 值。
3: 指定 AZURE_TENANT_ID 值。
4: 指定 AZURE_SUBSCRIPTION_ID 值。

运行以下命令来创建 secret：
```
$ oc apply -f peer-pods-secret.yaml
```

4.4.3. 创建对等 pod 配置映射

您必须为 OpenShift 沙盒容器创建对等 pod 配置映射。

流程

从 Azure 实例获取以下值：

检索并记录 Azure 资源组：

$ AZURE_RESOURCE_GROUP=$(oc get infrastructure/cluster -o jsonpath='{.status.platformStatus.azure.resourceGroupName}') && echo "AZURE_RESOURCE_GROUP: \"$AZURE_RESOURCE_GROUP\""

检索并记录 Azure VNet 名称：

$ AZURE_VNET_NAME=$(az network vnet list --resource-group ${AZURE_RESOURCE_GROUP} --query "[].{Name:name}" --output tsv)

这个值用于检索 Azure 子网 ID。

检索并记录 Azure 子网 ID：

$ AZURE_SUBNET_ID=$(az network vnet subnet list --resource-group ${AZURE_RESOURCE_GROUP} --vnet-name $AZURE_VNET_NAME --query "[].{Id:id} | [? contains(Id, 'worker')]" --output tsv) && echo "AZURE_SUBNET_ID: \"$AZURE_SUBNET_ID\""

检索并记录 Azure 网络安全组(NSG) ID：

$ AZURE_NSG_ID=$(az network nsg list --resource-group ${AZURE_RESOURCE_GROUP} --query "[].{Id:id}" --output tsv) && echo "AZURE_NSG_ID: \"$AZURE_NSG_ID\""

检索并记录 Azure 区域：

$ AZURE_REGION=$(az group show --resource-group ${AZURE_RESOURCE_GROUP} --query "{Location:location}" --output tsv) && echo "AZURE_REGION: \"$AZURE_REGION\""

根据以下示例创建 peer-pods-cm.yaml 清单文件：
```
apiVersion: v1
kind: ConfigMap
metadata:
  name: peer-pods-cm
  namespace: openshift-sandboxed-containers-operator
data:
  CLOUD_PROVIDER: "azure"
  VXLAN_PORT: "9000"
  AZURE_INSTANCE_SIZE: "Standard_B2als_v2" 1
  AZURE_INSTANCE_SIZES: "Standard_B2als_v2,Standard_D2as_v5,Standard_D4as_v5,Standard_D2ads_v5" 2
  AZURE_SUBNET_ID: "<azure_subnet_id>" 3
  AZURE_NSG_ID: "<azure_nsg_id>" 4
  PROXY_TIMEOUT: "5m"
  AZURE_IMAGE_ID: "<azure_image_id>" 5
  AZURE_REGION: "<azure_region>" 6
  AZURE_RESOURCE_GROUP: "<azure_resource_group>" 7
  PEERPODS_LIMIT_PER_NODE: "10" 8
  TAGS: "key1=value1,key2=value2" 9
  DISABLECVM: "true"
```
1
如果工作负载中没有定义实例大小，"Standard_B2als_v2" 实例大小为默认值。
2
列出创建 pod 时可以指定的所有实例大小。这可让您为大型工作负载需要较少的内存和更小的实例大小的工作负载定义较小的实例大小。
3
指定您检索的 AZURE_SUBNET_ID 值。
4
指定您检索的 AZURE_NSG_ID 值。
5
可选：默认情况下，这个值会在运行 KataConfig CR 时填充，使用基于集群凭证的 Azure 镜像 ID。如果创建自己的 Azure 镜像，请指定正确的镜像 ID。
6
指定您检索到的 AZURE_REGION 值。
7
指定您检索的 AZURE_RESOURCE_GROUP 值。
8
指定每个节点可以创建的对等 pod 的最大数量。默认值为 10。
9
您可以将自定义标签配置为 pod 虚拟机实例的 key:value 对，以跟踪对等 pod 成本或标识不同集群中的对等 pod。
运行以下命令来创建配置映射：
```
$ oc apply -f peer-pods-cm.yaml
```

4.4.4. 选择自定义对等 pod 虚拟机镜像

您可以通过向 pod 清单添加注解来选择自定义对等 pod 虚拟机(VM)镜像，根据您的工作负载要求量身定制。自定义镜像覆盖对等 pod 配置映射中指定的默认镜像。

先决条件

要使用的自定义 pod 虚拟机镜像的 ID，与云供应商或 hypervisor 兼容。

流程

通过添加 io.katacontainers.config.hypervisor.image 注解来编辑 pod 清单，并将其保存到 pod-manifest.yaml 文件中：

apiVersion: v1
kind: Pod
metadata:
  name: pod-manifest
  annotations:
    io.katacontainers.config.hypervisor.image: "<custom_image_id>" 1
spec:
  runtimeClassName: kata-remote 2
  containers:
  - name: <example_container> 3
    image: registry.access.redhat.com/ubi9/ubi:9.3
    command: ["sleep", "36000"]

1: 指定自定义对等 pod 镜像 ID。
2: 确保 runtimeClassName 字段设置为 kata-remote，以创建对等 pod。
3: 指定容器名称。

运行以下命令来创建 pod：
```
$ oc apply -f pod-manifest.yaml
```

4.4.5. 创建 Azure secret

您必须创建 SSH 密钥 secret，这是 Azure 虚拟机(VM)创建 API 所需的。Azure 只需要 SSH 公钥。机密容器会禁用虚拟机中的 SSH，因此这些密钥对虚拟机没有影响。

流程

运行以下命令来生成 SSH 密钥对：
```
$ ssh-keygen -f ./id_rsa -N ""
```

运行以下命令来创建 Secret 对象：

$ oc create secret generic ssh-key-secret \
  -n openshift-sandboxed-containers-operator \
  --from-file=id_rsa.pub=./id_rsa.pub \
  --from-file=id_rsa=./id_rsa

删除您创建的 SSH 密钥：
```
$ shred --remove id_rsa.pub id_rsa
```

4.4.6. 自定义 Kata 代理策略

Kata 代理策略是一种安全机制，用于控制使用 Kata 运行时运行的 pod 的代理 API 请求。使用 Rego 编写并由 Pod 虚拟机(VM)中的 Kata 代理强制，此策略决定哪些操作被允许或拒绝。

您可以针对特定用例使用自定义策略来覆盖默认策略，如在安全不是关注的地方进行开发和测试。例如，您可以在 control plane 可以被信任的环境中运行。您可以通过几种方法应用自定义策略：

将其嵌入到 pod 虚拟机镜像中。
修补对等 pod 配置映射。
为工作负载 pod YAML 添加注解。

对于生产环境系统，首选的方法是使用 initdata 覆盖 Kata 代理策略。以下流程使用 io.katacontainers.config.agent.policy 注解将自定义策略应用到单独的 pod。该策略以 Base64 编码的 Rego 格式提供。此方法会在创建 Pod 时覆盖默认策略，而不修改 pod 虚拟机镜像。

注意

自定义策略完全替换了默认策略。要只修改特定的 API，请包含完整的策略并调整相关规则。

流程

使用自定义策略创建 policy.rego 文件。以下示例显示了所有可配置的 API，并且为演示启用了 exec 和 log ：

package agent_policy

import future.keywords.in
import input

default CopyFileRequest := false
default CreateContainerRequest := false
default CreateSandboxRequest := true
default DestroySandboxRequest := true
default ExecProcessRequest := true  # Enabled to allow exec API
default GetOOMEventRequest := true
default GuestDetailsRequest := true
default OnlineCPUMemRequest := true
default PullImageRequest := true
default ReadStreamRequest := true   # Enabled to allow log API
default RemoveContainerRequest := true
default RemoveStaleVirtiofsShareMountsRequest := true
default SignalProcessRequest := true
default StartContainerRequest := true
default StatsContainerRequest := true
default TtyWinResizeRequest := true
default UpdateEphemeralMountsRequest := true
default UpdateInterfaceRequest := true
default UpdateRoutesRequest := true
default WaitProcessRequest := true
default WriteStreamRequest := false

此策略启用 exec (ExecProcessRequest)和 log (ReadStreamRequest) API。根据您的需要，调整 true 或 false 值以进一步自定义策略。

运行以下命令，将 policy.rego 文件转换为 Base64 编码的字符串：
```
$ base64 -w0 policy.rego
```
将输出保存到 yaml 文件中。

将 Base64 编码的策略添加到 my-pod.yaml pod 规格文件中：

apiVersion: v1
kind: Pod
metadata:
  name: <pod_name>
  annotations:
    io.katacontainers.config.agent.policy: <base64_encoded_policy>
spec:
  runtimeClassName: kata-remote
  containers:
  - name: <container_name>
    image: registry.access.redhat.com/ubi9/ubi:latest
    command:
    - sleep
    - "36000"
    securityContext:
      privileged: false
      seccompProfile:
        type: RuntimeDefault

运行以下命令来应用 pod 清单：
```
$ oc apply -f my-pod.yaml
```

4.4.7. 创建 KataConfig 自定义资源

您必须创建 KataConfig 自定义资源(CR)来作为 worker 节点上的运行时类安装 kata-remote。

创建 KataConfig CR 会触发 OpenShift 沙盒容器 Operator 来执行以下操作：

使用默认配置创建一个名为 kata-remote 的 RuntimeClass CR。这可让用户在 RuntimeClassName 字段中引用 CR 将工作负载配置为使用 kata-remote 作为运行时。此 CR 也指定运行时的资源开销。

OpenShift 沙盒容器将 kata-remote 安装为集群上的辅助可选运行时，而不是主运行时。

重要

创建 KataConfig CR 会自动重启 worker 节点。重启可能需要 10 到 60 分钟。妨碍重启时间的因素如下：

带有更多 worker 节点的大型 OpenShift Container Platform 部署。
激活 BIOS 和 Diagnostics 实用程序。
在硬盘而不是 SSD 上部署。
在物理节点上部署，如裸机，而不是在虚拟节点上部署。
CPU 和网络较慢。

先决条件

您可以使用具有 cluster-admin 角色的用户访问集群。

流程

根据以下示例创建 example-kataconfig.yaml 清单文件：

apiVersion: kataconfiguration.openshift.io/v1
kind: KataConfig
metadata:
  name: example-kataconfig
spec:
  enablePeerPods: true
  logLevel: info
#  kataConfigPoolSelector:
#    matchLabels:
#      <label_key>: '<label_value>' 1

1: 可选：如果您应用了节点标签在特定节点上安装 kata-remote，请指定键和值，例如 osc: 'true'。

运行以下命令来创建 KataConfig CR：
```
$ oc apply -f example-kataconfig.yaml
```
新的 KataConfig CR 被创建，并在 worker 节点上作为运行时类安装 kata-remote。
在验证安装前，等待 kata-remote 安装完成，以及 worker 节点重新引导。
运行以下命令监控安装进度：
```
$ watch "oc describe kataconfig | sed -n /^Status:/,/^Events/p"
```
安装 kataNodes 下所有 worker 的状态并且条件 InProgress 为 False 时，而不指定原因，则会在集群中安装 kata-remote。

运行以下命令验证守护进程集：

$ oc get -n openshift-sandboxed-containers-operator ds/osc-caa-ds

运行以下命令验证运行时类：

$ oc get runtimeclass

输出示例

NAME             HANDLER          AGE
kata             kata             152m
kata-remote      kata-remote      152m

验证 pod 虚拟机镜像

在集群中安装 kata-remote 后，OpenShift 沙盒容器 Operator 会创建一个 pod 虚拟机镜像，用于创建对等 pod。此过程可能需要很长时间，因为镜像是在云实例上创建的。您可以通过检查您为云供应商创建的配置映射来验证 pod 虚拟机镜像是否已成功创建。

流程

获取您为对等 pod 创建的配置映射：

$ oc get configmap peer-pods-cm -n openshift-sandboxed-containers-operator -o yaml

检查 YAML 文件 的状态 小节。
如果 AZURE_IMAGE_ID 参数被填充，则 pod 虚拟机镜像已被成功创建。

故障排除

运行以下命令来检索事件日志：

$ oc get events -n openshift-sandboxed-containers-operator --field-selector involvedObject.name=osc-podvm-image-creation

运行以下命令来检索作业日志：

$ oc logs -n openshift-sandboxed-containers-operator jobs/osc-podvm-image-creation

如果您无法解决这个问题，请提交红帽支持问题单并附加这两个日志的输出。

4.4.8. 配置工作负载对象

您必须通过将 kata-remote 设置为以下 pod 模板对象的运行时类来配置 OpenShift 沙盒容器工作负载对象：

Pod 对象
ReplicaSet 对象
ReplicationController 对象
StatefulSet 对象
Deployment 对象
deploymentConfig 对象

重要

不要在 Operator 命名空间中部署工作负载。为这些资源创建一个专用命名空间。

您可以通过在 YAML 文件中添加注解，定义工作负载是否使用配置映射中定义的默认实例大小进行部署。

如果您不想手动定义实例大小，您可以添加注解来使用自动实例大小，具体取决于可用内存。

先决条件

您已创建了 KataConfig 自定义资源(CR)。

流程

将 spec.runtimeClassName: kata-remote 添加到每个 pod 模板工作负载对象的清单中，如下例所示：
```
apiVersion: v1
kind: <object>
# ...
spec:
  runtimeClassName: kata-remote
# ...
```
向 pod 模板对象添加注解，以使用手动定义的实例大小或自动实例大小：
- 要使用手动定义的实例大小，请添加以下注解：
```
apiVersion: v1
kind: <object>
metadata:
  annotations:
    io.katacontainers.config.hypervisor.machine_type: "Standard_B2als_v2" 1
# ...
```
  1
  指定配置映射中定义的实例大小。
- 要使用自动实例大小，请添加以下注解：
```
apiVersion: v1
kind: <Pod>
metadata:
  annotations:
    io.katacontainers.config.hypervisor.default_vcpus: <vcpus>
    io.katacontainers.config.hypervisor.default_memory: <memory>
# ...
```
  定义可供工作负载使用的内存量。工作负载将根据可用内存量在自动实例大小上运行。
运行以下命令，将更改应用到工作负载对象：
```
$ oc apply -f <object.yaml>
```
OpenShift Container Platform 创建工作负载对象并开始调度它。

验证

检查 pod 模板对象的 spec.runtimeClassName 字段。如果值为 kata-remote，则工作负载在 OpenShift 沙盒容器上运行，使用对等 pod。

返回顶部

4.4. 使用命令行部署 OpenShift 沙盒容器

4.4.1. 安装 OpenShift 沙盒容器 Operator

4.4.2. 创建对等 pod secret

4.4.3. 创建对等 pod 配置映射

4.4.4. 选择自定义对等 pod 虚拟机镜像

4.4.5. 创建 Azure secret

4.4.6. 自定义 Kata 代理策略

4.4.7. 创建 KataConfig 自定义资源

验证 pod 虚拟机镜像

4.4.8. 配置工作负载对象

学习

尝试、购买和销售

社区

关于红帽文档

让开源更具包容性

關於紅帽

Theme

Red Hat legal and privacy links

Red Hat legal and privacy links