部署 OpenShift 沙盒容器

高级工作流

1. 安装 Node Feature Discovery Operator。
2. 创建 NodeFeatureDiscovery 自定义资源(CR)。
3. 在创建 Kataconfig CR 时启用节点资格检查。您可以在所有 worker 节点或所选节点上运行节点资格检查。

流程

1. 创建 osc-namespace.yaml 清单文件：

   apiVersion: v1
   kind: Namespace
   metadata:
     name: openshift-sandboxed-containers-operator

   Copy to Clipboard Toggle word wrap

2. 运行以下命令创建命名空间：

   $ oc apply -f osc-namespace.yaml

   Copy to Clipboard Toggle word wrap

3. 创建 osc-operatorgroup.yaml 清单文件：

   apiVersion: operators.coreos.com/v1
   kind: OperatorGroup
   metadata:
     name: sandboxed-containers-operator-group
     namespace: openshift-sandboxed-containers-operator
   spec:
     targetNamespaces:
     - openshift-sandboxed-containers-operator

   Copy to Clipboard Toggle word wrap

4. 运行以下命令来创建 operator 组：

   $ oc apply -f osc-operatorgroup.yaml

   Copy to Clipboard Toggle word wrap

5. 创建 osc-subscription.yaml 清单文件：

   apiVersion: operators.coreos.com/v1alpha1
   kind: Subscription
   metadata:
     name: sandboxed-containers-operator
     namespace: openshift-sandboxed-containers-operator
   spec:
     channel: stable
     installPlanApproval: Automatic
     name: sandboxed-containers-operator
     source: redhat-operators
     sourceNamespace: openshift-marketplace
     startingCSV: sandboxed-containers-operator.v1.10.1

   Copy to Clipboard Toggle word wrap

6. 运行以下命令来创建订阅：

   $ oc apply -f osc-subscription.yaml

   Copy to Clipboard Toggle word wrap

7. 运行以下命令验证 Operator 是否已正确安装：

   $ oc get csv -n openshift-sandboxed-containers-operator

   Copy to Clipboard Toggle word wrap

   此命令可能需要几分钟来完成。

8. 运行以下命令监控进程：

   $ watch oc get csv -n openshift-sandboxed-containers-operator

   Copy to Clipboard Toggle word wrap

   输出示例

   NAME                             DISPLAY                                  VERSION             REPLACES                   PHASE
   openshift-sandboxed-containers   openshift-sandboxed-containers-operator  1.10.1    1.9.0        Succeeded

   Copy to Clipboard Toggle word wrap

流程

1. 根据以下示例创建 example-kataconfig.yaml 清单文件：

   apiVersion: kataconfiguration.openshift.io/v1
   kind: KataConfig
   metadata:
     name: example-kataconfig
   spec:
     checkNodeEligibility: false 

   1

   
     logLevel: info
   #  kataConfigPoolSelector:
   #    matchLabels:
   #      <label_key>: '<label_value>' 

   2

   Copy to Clipboard Toggle word wrap

   1

   可选：将'checkNodeEligibility' 设置为 true 以运行节点资格检查是否安装了 Node Feature Discovery Operator。

   2

   可选：如果您应用了节点标签来在特定节点上安装 OpenShift 沙盒容器，请指定键和值。

2. 运行以下命令来创建 KataConfig CR：

   $ oc apply -f example-kataconfig.yaml

   Copy to Clipboard Toggle word wrap

   新的 KataConfig CR 会被创建，并在 worker 节点上作为运行时类安装 kata。

   在验证安装前，等待 kata 安装完成，以及 worker 节点重新引导。

3. 运行以下命令监控安装进度：

   $ watch "oc describe kataconfig | sed -n /^Status:/,/^Events/p"

   Copy to Clipboard Toggle word wrap

   当安装 kataNodes 下的所有 worker 的状态并且条件 InProgress 为 False 时，如果没有指定原因，则会在集群中安装 kata。

流程

1. 运行以下命令来获取 RuntimeClass 对象：

   $ oc describe runtimeclass kata

   Copy to Clipboard Toggle word wrap

2. 更新 overhead.podFixed.memory 和 cpu 值，并将文件保存为 runtimeclass.yaml ：

   kind: RuntimeClass
   apiVersion: node.k8s.io/v1
   metadata:
     name: kata
   overhead:
     podFixed:
       memory: "500Mi"
       cpu: "500m"

   Copy to Clipboard Toggle word wrap

3. 运行以下命令来应用更改：

   $ oc apply -f runtimeclass.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 将 spec.runtimeClassName: kata 添加到每个 pod 模板工作负载对象的清单中，如下例所示：

   apiVersion: v1
   kind: <object>
   # ...
   spec:
     runtimeClassName: kata
   # ...

   Copy to Clipboard Toggle word wrap

2. 运行以下命令，将更改应用到工作负载对象：

   $ oc apply -f <object.yaml>

   Copy to Clipboard Toggle word wrap

   OpenShift Container Platform 创建工作负载对象并开始调度它。

流程

1. 创建 osc-namespace.yaml 清单文件：

   apiVersion: v1
   kind: Namespace
   metadata:
     name: openshift-sandboxed-containers-operator

   Copy to Clipboard Toggle word wrap

2. 运行以下命令创建命名空间：

   $ oc apply -f osc-namespace.yaml

   Copy to Clipboard Toggle word wrap

3. 创建 osc-operatorgroup.yaml 清单文件：

   apiVersion: operators.coreos.com/v1
   kind: OperatorGroup
   metadata:
     name: sandboxed-containers-operator-group
     namespace: openshift-sandboxed-containers-operator
   spec:
     targetNamespaces:
     - openshift-sandboxed-containers-operator

   Copy to Clipboard Toggle word wrap

4. 运行以下命令来创建 operator 组：

   $ oc apply -f osc-operatorgroup.yaml

   Copy to Clipboard Toggle word wrap

5. 创建 osc-subscription.yaml 清单文件：

   apiVersion: operators.coreos.com/v1alpha1
   kind: Subscription
   metadata:
     name: sandboxed-containers-operator
     namespace: openshift-sandboxed-containers-operator
   spec:
     channel: stable
     installPlanApproval: Automatic
     name: sandboxed-containers-operator
     source: redhat-operators
     sourceNamespace: openshift-marketplace
     startingCSV: sandboxed-containers-operator.v1.10.1

   Copy to Clipboard Toggle word wrap

6. 运行以下命令来创建订阅：

   $ oc apply -f osc-subscription.yaml

   Copy to Clipboard Toggle word wrap

7. 运行以下命令验证 Operator 是否已正确安装：

   $ oc get csv -n openshift-sandboxed-containers-operator

   Copy to Clipboard Toggle word wrap

   此命令可能需要几分钟来完成。

8. 运行以下命令监控进程：

   $ watch oc get csv -n openshift-sandboxed-containers-operator

   Copy to Clipboard Toggle word wrap

   输出示例

   NAME                             DISPLAY                                  VERSION             REPLACES                   PHASE
   openshift-sandboxed-containers   openshift-sandboxed-containers-operator  1.10.1    1.9.0        Succeeded

   Copy to Clipboard Toggle word wrap

流程

1. 登录您的 OpenShift Container Platform 集群并检索实例 ID：

   $ INSTANCE_ID=$(oc get nodes -l 'node-role.kubernetes.io/worker' \
     -o jsonpath='{.items[0].spec.providerID}' | sed 's#[^ ]*/##g')

   Copy to Clipboard Toggle word wrap

2. 检索 AWS 区域：

   $ AWS_REGION=$(oc get infrastructure/cluster -o jsonpath='{.status.platformStatus.aws.region}')

   Copy to Clipboard Toggle word wrap

3. 检索安全组 ID，并将其存储在阵列中：

   $ AWS_SG_IDS=($(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} \
     --query 'Reservations[*].Instances[*].SecurityGroups[*].GroupId' \
     --output text --region $AWS_REGION))

   Copy to Clipboard Toggle word wrap

4. 对于每个安全组 ID，授权 peer pod shim 访问 kata-agent 通信，并设置对等 pod 隧道：

   $ for AWS_SG_ID in "${AWS_SG_IDS[@]}"; do \
     aws ec2 authorize-security-group-ingress --group-id $AWS_SG_ID --protocol tcp --port 15150 --source-group $AWS_SG_ID --region $AWS_REGION; \
     aws ec2 authorize-security-group-ingress --group-id $AWS_SG_ID --protocol tcp --port 9000 --source-group $AWS_SG_ID --region $AWS_REGION; \
   done

   Copy to Clipboard Toggle word wrap

流程

1. 从 AWS 实例获取以下值：

   1. 检索并记录实例 ID：

      $ INSTANCE_ID=$(oc get nodes -l 'node-role.kubernetes.io/worker' \
        -o jsonpath='{.items[0].spec.providerID}' | sed 's#[^ ]*/##g')

      Copy to Clipboard Toggle word wrap

      这用于检索 secret 对象的其他值。

   2. 检索并记录 AWS 区域：

      $ AWS_REGION=$(oc get infrastructure/cluster \
        -o jsonpath='{.status.platformStatus.aws.region}') \
        && echo "AWS_REGION: \"$AWS_REGION\""

      Copy to Clipboard Toggle word wrap

   3. 检索并记录 AWS 子网 ID：

      $ AWS_SUBNET_ID=$(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} \
        --query 'Reservations[*].Instances[*].SubnetId' --region ${AWS_REGION} \
          --output text) && echo "AWS_SUBNET_ID: \"$AWS_SUBNET_ID\""

      Copy to Clipboard Toggle word wrap

   4. 检索并记录 AWS VPC ID：

      $ AWS_VPC_ID=$(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} \
        --query 'Reservations[*].Instances[*].VpcId' --region ${AWS_REGION} \
          --output text) && echo "AWS_VPC_ID: \"$AWS_VPC_ID\""

      Copy to Clipboard Toggle word wrap

   5. 检索并记录 AWS 安全组 ID：

      $ AWS_SG_IDS=$(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} \
        --query 'Reservations[*].Instances[*].SecurityGroups[*].GroupId' \
        --region  $AWS_REGION --output json | jq -r '.[][][]' | paste -sd ",") \
          && echo "AWS_SG_IDS: \"$AWS_SG_IDS\""

      Copy to Clipboard Toggle word wrap

2. 根据以下示例创建 peer-pods-cm.yaml 清单文件：

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: peer-pods-cm
     namespace: openshift-sandboxed-containers-operator
   data:
     CLOUD_PROVIDER: "aws"
     VXLAN_PORT: "9000"
     PROXY_TIMEOUT: "5m"
     PODVM_INSTANCE_TYPE: "t3.medium"
     PODVM_INSTANCE_TYPES: "t2.small,t2.medium,t3.large"
     PODVM_AMI_ID: "<podvm_ami_id>"
     AWS_REGION: "<aws_region>"
     AWS_SUBNET_ID: "<aws_subnet_id>"
     AWS_VPC_ID: "<aws_vpc_id>"
     AWS_SG_IDS: "<aws_sg_ids>"
     TAGS: "key1=value1,key2=value2"
     PEERPODS_LIMIT_PER_NODE: "10"
     ROOT_VOLUME_SIZE: "6"
     DISABLECVM: "true"

   Copy to Clipboard Toggle word wrap

   PODVM_INSTANCE_TYPE

   定义在工作负载对象中没有定义实例类型时使用的默认实例类型。

   PODVM_INSTANCE_TYPES

   指定创建 pod 的实例类型，没有空格。您可以为需要较少的内存和更少的 CPU 或更大实例类型的工作负载定义较小的实例类型。

   PODVM_AMI_ID

   此值会在运行 KataConfig CR 时填充，使用基于集群凭证的 AMI ID。如果您创建自己的 AMI，请指定正确的 AMI ID。

   标签

   您可以将自定义标签配置为 pod 虚拟机实例的 key:value 对，以跟踪对等 pod 成本或标识不同集群中的对等 pod。

   PEERPODS_LIMIT_PER_NODE

   您可以增加这个值以在节点上运行更多对等 pod。默认值为 10。

   ROOT_VOLUME_SIZE

   您可以为带有更大容器镜像的 pod 增加这个值。指定 pod 虚拟机的 root 卷大小，以 GB 为单位。默认和最小大小为 6 GB。

3. 运行以下命令来创建配置映射：

   $ oc create -f peer-pods-cm.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 将 NS 变量设置为部署对等 pod 的命名空间：

   $ NS=<namespace>

   Copy to Clipboard Toggle word wrap

2. 将 pull secret 复制到对等 pod 命名空间：

   $ oc get secret pull-secret -n openshift-config -o yaml \
     | sed "s/namespace: openshift-config/namespace: ${NS}/" \
     | oc apply -n "${NS}" -f -

   Copy to Clipboard Toggle word wrap

   您可以使用集群 pull secret，如下例所示或自定义 pull secret。

3. 可选：将 pull secret 链接到 default 服务帐户：

   $ oc secrets link default pull-secret --for=pull -n ${NS}

   Copy to Clipboard Toggle word wrap

4. 或者，将 pull secret 添加到对等 pod 清单中：

   apiVersion: v1
   kind: <Pod>
   spec:
     containers:
     - name: <container_name>
       image: <image_name>
     imagePullSecrets:
     - name: pull-secret
   # ...

   Copy to Clipboard Toggle word wrap

流程

1. 根据以下示例创建 my-pod-manifest.yaml 文件：

   apiVersion: v1
   kind: Pod
   metadata:
     name: my-pod-manifest
     annotations:
       io.katacontainers.config.hypervisor.image: "<custom_image_id>"
   spec:
     runtimeClassName: kata-remote
     containers:
     - name: <example_container>
       image: registry.access.redhat.com/ubi9/ubi:9.3
       command: ["sleep", "36000"]

   Copy to Clipboard Toggle word wrap

2. 运行以下命令来创建 pod：

   $ oc create -f my-pod-manifest.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 使用自定义策略创建 policy.rego 文件。以下示例显示了所有可配置的 API：

   package agent_policy
   
   default AddARPNeighborsRequest := true
   default AddSwapRequest := true
   default CloseStdinRequest := true
   default CopyFileRequest := true
   default CreateContainerRequest := true
   default CreateSandboxRequest := true
   default DestroySandboxRequest := true
   default ExecProcessRequest := true
   default GetMetricsRequest := true
   default GetOOMEventRequest := true
   default GuestDetailsRequest := true
   default ListInterfacesRequest := true
   default ListRoutesRequest := true
   default MemHotplugByProbeRequest := true
   default OnlineCPUMemRequest := true
   default PauseContainerRequest := true
   default PullImageRequest := true
   default ReadStreamRequest := true
   default RemoveContainerRequest := true
   default RemoveStaleVirtiofsShareMountsRequest := true
   default ReseedRandomDevRequest := true
   default ResumeContainerRequest := true
   default SetGuestDateTimeRequest := true
   default SetPolicyRequest := true
   default SignalProcessRequest := true
   default StartContainerRequest := true
   default StartTracingRequest := true
   default StatsContainerRequest := true
   default StopTracingRequest := true
   default TtyWinResizeRequest := true
   default UpdateContainerRequest := true
   default UpdateEphemeralMountsRequest := true
   default UpdateInterfaceRequest := true
   default UpdateRoutesRequest := true
   default WaitProcessRequest := true
   default WriteStreamRequest := true

   Copy to Clipboard Toggle word wrap

   默认策略允许所有 API 调用。根据您的需要，调整 true 或 false 值以进一步自定义策略。

2. 运行以下命令，将 policy.rego 文件转换为 Base64 编码的字符串：

   $ base64 -w0 policy.rego

   Copy to Clipboard Toggle word wrap

   将输出保存到 yaml 文件中。

3. 将 Base64 编码的策略添加到 my-pod.yaml pod 规格文件中：

   apiVersion: v1
   kind: Pod
   metadata:
     name: <pod_name>
     annotations:
       io.katacontainers.config.agent.policy: <base64_encoded_policy>
   spec:
     runtimeClassName: kata-remote
     containers:
     - name: <container_name>
       image: registry.access.redhat.com/ubi9/ubi:latest
       command:
       - sleep
       - "36000"
       securityContext:
         privileged: false
         seccompProfile:
           type: RuntimeDefault

   Copy to Clipboard Toggle word wrap

4. 运行以下命令来应用 pod 清单：

   $ oc apply -f my-pod.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 根据以下示例创建 example-kataconfig.yaml 清单文件：

   apiVersion: kataconfiguration.openshift.io/v1
   kind: KataConfig
   metadata:
     name: example-kataconfig
   spec:
     enablePeerPods: true
     logLevel: info
   #  kataConfigPoolSelector:
   #    matchLabels:
   #      <label_key>: '<label_value>' 

   1

   Copy to Clipboard Toggle word wrap

   1

   可选：如果您应用了节点标签在特定节点上安装 kata-remote，请指定键和值，例如 osc: 'true'。

2. 运行以下命令来创建 KataConfig CR：

   $ oc apply -f example-kataconfig.yaml

   Copy to Clipboard Toggle word wrap

   新的 KataConfig CR 被创建，并在 worker 节点上作为运行时类安装 kata-remote。

   在验证安装前，等待 kata-remote 安装完成，以及 worker 节点重新引导。

3. 运行以下命令监控安装进度：

   $ watch "oc describe kataconfig | sed -n /^Status:/,/^Events/p"

   Copy to Clipboard Toggle word wrap

   安装 kataNodes 下所有 worker 的状态并且条件 InProgress 为 False 时，而不指定原因，则会在集群中安装 kata-remote。

4. 运行以下命令验证守护进程集：

   $ oc get -n openshift-sandboxed-containers-operator ds/osc-caa-ds

   Copy to Clipboard Toggle word wrap

5. 运行以下命令验证运行时类：

   $ oc get runtimeclass

   Copy to Clipboard Toggle word wrap

   输出示例

   NAME             HANDLER          AGE
   kata-remote      kata-remote      152m

   Copy to Clipboard Toggle word wrap

流程

1. 运行以下命令检查当前的限制：

   $ oc get peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \
     -o jsonpath='{.spec.limit}{"\n"}'

   Copy to Clipboard Toggle word wrap

2. 运行以下命令，为 limit 键指定新值：

   $ oc patch peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \
     --type merge --patch '{"spec":{"limit":"<value>"}}'

   Copy to Clipboard Toggle word wrap

流程

1. 获取您为对等 pod 创建的配置映射：

   $ oc get configmap peer-pods-cm -n openshift-sandboxed-containers-operator -o yaml

   Copy to Clipboard Toggle word wrap

2. 检查 YAML 文件 的状态 小节。

   如果 PODVM_AMI_ID 参数被填充，则 pod 虚拟机镜像已创建成功。

故障排除

1. 运行以下命令来检索事件日志：

   $ oc get events -n openshift-sandboxed-containers-operator --field-selector involvedObject.name=osc-podvm-image-creation

   Copy to Clipboard Toggle word wrap

2. 运行以下命令来检索作业日志：

   $ oc logs -n openshift-sandboxed-containers-operator jobs/osc-podvm-image-creation

   Copy to Clipboard Toggle word wrap

流程

1. 将 spec.runtimeClassName: kata-remote 添加到每个 pod 模板工作负载对象的清单中，如下例所示：

   apiVersion: v1
   kind: <object>
   # ...
   spec:
     runtimeClassName: kata-remote
   # ...

   Copy to Clipboard Toggle word wrap

2. 可选： 要使用手动定义的实例类型，请使用配置映射中定义的实例类型添加以下注解：

   apiVersion: v1
   kind: <object>
   metadata:
     annotations:
       io.katacontainers.config.hypervisor.machine_type: <machine_type>
   # ...

   Copy to Clipboard Toggle word wrap

3. 可选： 要使用自动实例类型，请添加以下注解：

   apiVersion: v1
   kind: <Pod>
   metadata:
     annotations:
       io.katacontainers.config.hypervisor.default_vcpus: <vcpus>
       io.katacontainers.config.hypervisor.default_memory: <memory>
   # ...

   Copy to Clipboard Toggle word wrap

   工作负载将根据可用内存量在自动实例类型上运行。

4. 运行以下命令，将更改应用到工作负载对象：

   $ oc apply -f <object.yaml>

   Copy to Clipboard Toggle word wrap

   OpenShift Container Platform 创建工作负载对象并开始调度它。

流程

1. 创建 osc-namespace.yaml 清单文件：

   apiVersion: v1
   kind: Namespace
   metadata:
     name: openshift-sandboxed-containers-operator

   Copy to Clipboard Toggle word wrap

2. 运行以下命令创建命名空间：

   $ oc apply -f osc-namespace.yaml

   Copy to Clipboard Toggle word wrap

3. 创建 osc-operatorgroup.yaml 清单文件：

   apiVersion: operators.coreos.com/v1
   kind: OperatorGroup
   metadata:
     name: sandboxed-containers-operator-group
     namespace: openshift-sandboxed-containers-operator
   spec:
     targetNamespaces:
     - openshift-sandboxed-containers-operator

   Copy to Clipboard Toggle word wrap

4. 运行以下命令来创建 operator 组：

   $ oc apply -f osc-operatorgroup.yaml

   Copy to Clipboard Toggle word wrap

5. 创建 osc-subscription.yaml 清单文件：

   apiVersion: operators.coreos.com/v1alpha1
   kind: Subscription
   metadata:
     name: sandboxed-containers-operator
     namespace: openshift-sandboxed-containers-operator
   spec:
     channel: stable
     installPlanApproval: Automatic
     name: sandboxed-containers-operator
     source: redhat-operators
     sourceNamespace: openshift-marketplace
     startingCSV: sandboxed-containers-operator.v1.10.1

   Copy to Clipboard Toggle word wrap

6. 运行以下命令来创建订阅：

   $ oc apply -f osc-subscription.yaml

   Copy to Clipboard Toggle word wrap

7. 运行以下命令验证 Operator 是否已正确安装：

   $ oc get csv -n openshift-sandboxed-containers-operator

   Copy to Clipboard Toggle word wrap

   此命令可能需要几分钟来完成。

8. 运行以下命令监控进程：

   $ watch oc get csv -n openshift-sandboxed-containers-operator

   Copy to Clipboard Toggle word wrap

   输出示例

   NAME                             DISPLAY                                  VERSION             REPLACES                   PHASE
   openshift-sandboxed-containers   openshift-sandboxed-containers-operator  1.10.1    1.9.0        Succeeded

   Copy to Clipboard Toggle word wrap

流程

1. 从 Azure 实例获取以下值：

   1. 检索并记录 Azure 资源组：

      $ AZURE_RESOURCE_GROUP=$(oc get infrastructure/cluster \
        -o jsonpath='{.status.platformStatus.azure.resourceGroupName}') \
        && echo "AZURE_RESOURCE_GROUP: \"$AZURE_RESOURCE_GROUP\""

      Copy to Clipboard Toggle word wrap

   2. 检索并记录 Azure VNet 名称：

      $ AZURE_VNET_NAME=$(az network vnet list \
        --resource-group ${AZURE_RESOURCE_GROUP} \
        --query "[].{Name:name}" --output tsv)

      Copy to Clipboard Toggle word wrap

      这个值用于检索 Azure 子网 ID。

   3. 检索并记录 Azure 子网 ID：

      $ AZURE_SUBNET_ID=$(az network vnet subnet list \
        --resource-group ${AZURE_RESOURCE_GROUP} --vnet-name $AZURE_VNET_NAME \
        --query "[].{Id:id} | [? contains(Id, 'worker')]" --output tsv) \
         && echo "AZURE_SUBNET_ID: \"$AZURE_SUBNET_ID\""

      Copy to Clipboard Toggle word wrap

   4. 检索并记录 Azure 网络安全组(NSG) ID：

      $ AZURE_NSG_ID=$(az network nsg list --resource-group ${AZURE_RESOURCE_GROUP} \
        --query "[].{Id:id}" --output tsv) && echo "AZURE_NSG_ID: \"$AZURE_NSG_ID\""

      Copy to Clipboard Toggle word wrap

   5. 检索并记录 Azure 区域：

      $ AZURE_REGION=$(az group show --resource-group ${AZURE_RESOURCE_GROUP} \
        --query "{Location:location}" --output tsv) \
        && echo "AZURE_REGION: \"$AZURE_REGION\""

      Copy to Clipboard Toggle word wrap

2. 根据以下示例创建 peer-pods-cm.yaml 清单文件：

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: peer-pods-cm
     namespace: openshift-sandboxed-containers-operator
   data:
     CLOUD_PROVIDER: "azure"
     VXLAN_PORT: "9000"
     PROXY_TIMEOUT: "5m"
     AZURE_INSTANCE_SIZE: "Standard_B2als_v2"
     AZURE_INSTANCE_SIZES: "Standard_B2als_v2,Standard_D2as_v5,Standard_D4as_v5,Standard_D2ads_v5"
     AZURE_SUBNET_ID: "<azure_subnet_id>"
     AZURE_NSG_ID: "<azure_nsg_id>"
     AZURE_IMAGE_ID: "<azure_image_id>"
     AZURE_REGION: "<azure_region>"
     AZURE_RESOURCE_GROUP: "<azure_resource_group>"
     TAGS: "key1=value1,key2=value2"
     PEERPODS_LIMIT_PER_NODE: "10"
     ROOT_VOLUME_SIZE: "6"
     DISABLECVM: "true"

   Copy to Clipboard Toggle word wrap

   AZURE_INSTANCE_SIZE

   如果工作负载对象中没有定义实例大小，则定义使用的默认实例大小。

   AZURE_INSTANCE_SIZES

   指定实例大小（没有空格）用于创建 pod。您可以为需要较少的内存和更少的 CPU 或更大实例大小的工作负载定义较小的实例大小。

   标签

   您可以将自定义标签配置为 pod 虚拟机实例的 key:value 对，以跟踪对等 pod 成本或标识不同集群中的对等 pod。

   PEERPODS_LIMIT_PER_NODE

   您可以增加这个值以在节点上运行更多对等 pod。默认值为 10。

   ROOT_VOLUME_SIZE

   您可以为带有更大容器镜像的 pod 增加这个值。指定 pod 虚拟机的 root 卷大小，以 GB 为单位。默认和最小大小为 6 GB。

3. 运行以下命令来创建配置映射：

   $ oc create -f peer-pods-cm.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 将 NS 变量设置为部署对等 pod 的命名空间：

   $ NS=<namespace>

   Copy to Clipboard Toggle word wrap

2. 将 pull secret 复制到对等 pod 命名空间：

   $ oc get secret pull-secret -n openshift-config -o yaml \
     | sed "s/namespace: openshift-config/namespace: ${NS}/" \
     | oc apply -n "${NS}" -f -

   Copy to Clipboard Toggle word wrap

   您可以使用集群 pull secret，如下例所示或自定义 pull secret。

3. 可选：将 pull secret 链接到 default 服务帐户：

   $ oc secrets link default pull-secret --for=pull -n ${NS}

   Copy to Clipboard Toggle word wrap

4. 或者，将 pull secret 添加到对等 pod 清单中：

   apiVersion: v1
   kind: <Pod>
   spec:
     containers:
     - name: <container_name>
       image: <image_name>
     imagePullSecrets:
     - name: pull-secret
   # ...

   Copy to Clipboard Toggle word wrap

流程

1. 根据以下示例创建 my-pod-manifest.yaml 文件：

   apiVersion: v1
   kind: Pod
   metadata:
     name: my-pod-manifest
     annotations:
       io.katacontainers.config.hypervisor.image: "<custom_image_id>"
   spec:
     runtimeClassName: kata-remote
     containers:
     - name: <example_container>
       image: registry.access.redhat.com/ubi9/ubi:9.3
       command: ["sleep", "36000"]

   Copy to Clipboard Toggle word wrap

2. 运行以下命令来创建 pod：

   $ oc create -f my-pod-manifest.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 运行以下命令来生成 SSH 密钥对：

   $ ssh-keygen -f ./id_rsa -N ""

   Copy to Clipboard Toggle word wrap

2. 运行以下命令来创建 Secret 对象：

   $ oc create secret generic ssh-key-secret \
     -n openshift-sandboxed-containers-operator \
     --from-file=id_rsa.pub=./id_rsa.pub \
     --from-file=id_rsa=./id_rsa

   Copy to Clipboard Toggle word wrap

3. 删除您创建的 SSH 密钥：

   $ shred --remove id_rsa.pub id_rsa

   Copy to Clipboard Toggle word wrap

流程

1. 使用自定义策略创建 policy.rego 文件。以下示例显示了所有可配置的 API：

   package agent_policy
   
   default AddARPNeighborsRequest := true
   default AddSwapRequest := true
   default CloseStdinRequest := true
   default CopyFileRequest := true
   default CreateContainerRequest := true
   default CreateSandboxRequest := true
   default DestroySandboxRequest := true
   default ExecProcessRequest := true
   default GetMetricsRequest := true
   default GetOOMEventRequest := true
   default GuestDetailsRequest := true
   default ListInterfacesRequest := true
   default ListRoutesRequest := true
   default MemHotplugByProbeRequest := true
   default OnlineCPUMemRequest := true
   default PauseContainerRequest := true
   default PullImageRequest := true
   default ReadStreamRequest := true
   default RemoveContainerRequest := true
   default RemoveStaleVirtiofsShareMountsRequest := true
   default ReseedRandomDevRequest := true
   default ResumeContainerRequest := true
   default SetGuestDateTimeRequest := true
   default SetPolicyRequest := true
   default SignalProcessRequest := true
   default StartContainerRequest := true
   default StartTracingRequest := true
   default StatsContainerRequest := true
   default StopTracingRequest := true
   default TtyWinResizeRequest := true
   default UpdateContainerRequest := true
   default UpdateEphemeralMountsRequest := true
   default UpdateInterfaceRequest := true
   default UpdateRoutesRequest := true
   default WaitProcessRequest := true
   default WriteStreamRequest := true

   Copy to Clipboard Toggle word wrap

   默认策略允许所有 API 调用。根据您的需要，调整 true 或 false 值以进一步自定义策略。

2. 运行以下命令，将 policy.rego 文件转换为 Base64 编码的字符串：

   $ base64 -w0 policy.rego

   Copy to Clipboard Toggle word wrap

   将输出保存到 yaml 文件中。

3. 将 Base64 编码的策略添加到 my-pod.yaml pod 规格文件中：

   apiVersion: v1
   kind: Pod
   metadata:
     name: <pod_name>
     annotations:
       io.katacontainers.config.agent.policy: <base64_encoded_policy>
   spec:
     runtimeClassName: kata-remote
     containers:
     - name: <container_name>
       image: registry.access.redhat.com/ubi9/ubi:latest
       command:
       - sleep
       - "36000"
       securityContext:
         privileged: false
         seccompProfile:
           type: RuntimeDefault

   Copy to Clipboard Toggle word wrap

4. 运行以下命令来应用 pod 清单：

   $ oc apply -f my-pod.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 根据以下示例创建 example-kataconfig.yaml 清单文件：

   apiVersion: kataconfiguration.openshift.io/v1
   kind: KataConfig
   metadata:
     name: example-kataconfig
   spec:
     enablePeerPods: true
     logLevel: info
   #  kataConfigPoolSelector:
   #    matchLabels:
   #      <label_key>: '<label_value>' 

   1

   Copy to Clipboard Toggle word wrap

   1

   可选：如果您应用了节点标签在特定节点上安装 kata-remote，请指定键和值，例如 osc: 'true'。

2. 运行以下命令来创建 KataConfig CR：

   $ oc apply -f example-kataconfig.yaml

   Copy to Clipboard Toggle word wrap

   新的 KataConfig CR 被创建，并在 worker 节点上作为运行时类安装 kata-remote。

   在验证安装前，等待 kata-remote 安装完成，以及 worker 节点重新引导。

3. 运行以下命令监控安装进度：

   $ watch "oc describe kataconfig | sed -n /^Status:/,/^Events/p"

   Copy to Clipboard Toggle word wrap

   安装 kataNodes 下所有 worker 的状态并且条件 InProgress 为 False 时，而不指定原因，则会在集群中安装 kata-remote。

4. 运行以下命令验证守护进程集：

   $ oc get -n openshift-sandboxed-containers-operator ds/osc-caa-ds

   Copy to Clipboard Toggle word wrap

5. 运行以下命令验证运行时类：

   $ oc get runtimeclass

   Copy to Clipboard Toggle word wrap

   输出示例

   NAME             HANDLER          AGE
   kata-remote      kata-remote      152m

   Copy to Clipboard Toggle word wrap

流程

1. 运行以下命令检查当前的限制：

   $ oc get peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \
     -o jsonpath='{.spec.limit}{"\n"}'

   Copy to Clipboard Toggle word wrap

2. 运行以下命令，为 limit 键指定新值：

   $ oc patch peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \
     --type merge --patch '{"spec":{"limit":"<value>"}}'

   Copy to Clipboard Toggle word wrap

流程

1. 获取您为对等 pod 创建的配置映射：

   $ oc get configmap peer-pods-cm -n openshift-sandboxed-containers-operator -o yaml

   Copy to Clipboard Toggle word wrap

2. 检查 YAML 文件 的状态 小节。

   如果 AZURE_IMAGE_ID 参数被填充，则 pod 虚拟机镜像已被成功创建。

故障排除

1. 运行以下命令来检索事件日志：

   $ oc get events -n openshift-sandboxed-containers-operator --field-selector involvedObject.name=osc-podvm-image-creation

   Copy to Clipboard Toggle word wrap

2. 运行以下命令来检索作业日志：

   $ oc logs -n openshift-sandboxed-containers-operator jobs/osc-podvm-image-creation

   Copy to Clipboard Toggle word wrap

流程

1. 将 spec.runtimeClassName: kata-remote 添加到每个 pod 模板工作负载对象的清单中，如下例所示：

   apiVersion: v1
   kind: <object>
   # ...
   spec:
     runtimeClassName: kata-remote
   # ...

   Copy to Clipboard Toggle word wrap

2. 可选： 要使用手动定义的实例大小，请使用配置映射中定义的实例大小添加以下注解：

   apiVersion: v1
   kind: <object>
   metadata:
     annotations:
       io.katacontainers.config.hypervisor.machine_type: <machine_type>
   # ...

   Copy to Clipboard Toggle word wrap

3. 可选： 要使用自动实例大小，请添加以下注解：

   apiVersion: v1
   kind: <Pod>
   metadata:
     annotations:
       io.katacontainers.config.hypervisor.default_vcpus: <vcpus>
       io.katacontainers.config.hypervisor.default_memory: <memory>
   # ...

   Copy to Clipboard Toggle word wrap

   工作负载将根据可用内存量在自动实例大小上运行。

4. 运行以下命令，将更改应用到工作负载对象：

   $ oc apply -f <object.yaml>

   Copy to Clipboard Toggle word wrap

   OpenShift Container Platform 创建工作负载对象并开始调度它。