3.3. 使用命令行部署 OpenShift 沙盒容器

流程

1. 创建 osc-namespace.yaml 清单文件：

   apiVersion: v1
   kind: Namespace
   metadata:
     name: openshift-sandboxed-containers-operator

2. 运行以下命令创建命名空间：

   $ oc apply -f osc-namespace.yaml

3. 创建 osc-operatorgroup.yaml 清单文件：

   apiVersion: operators.coreos.com/v1
   kind: OperatorGroup
   metadata:
     name: sandboxed-containers-operator-group
     namespace: openshift-sandboxed-containers-operator
   spec:
     targetNamespaces:
     - openshift-sandboxed-containers-operator

4. 运行以下命令来创建 operator 组：

   $ oc apply -f osc-operatorgroup.yaml

5. 创建 osc-subscription.yaml 清单文件：

   apiVersion: operators.coreos.com/v1alpha1
   kind: Subscription
   metadata:
     name: sandboxed-containers-operator
     namespace: openshift-sandboxed-containers-operator
   spec:
     channel: stable
     installPlanApproval: Automatic
     name: sandboxed-containers-operator
     source: redhat-operators
     sourceNamespace: openshift-marketplace
     startingCSV: sandboxed-containers-operator.v1.8.1

6. 运行以下命令来创建订阅：

   $ oc apply -f osc-subscription.yaml

7. 运行以下命令验证 Operator 是否已正确安装：

   $ oc get csv -n openshift-sandboxed-containers-operator

   此命令可能需要几分钟来完成。

8. 运行以下命令监控进程：

   $ watch oc get csv -n openshift-sandboxed-containers-operator

   输出示例

   NAME                             DISPLAY                                  VERSION             REPLACES                   PHASE
   openshift-sandboxed-containers   openshift-sandboxed-containers-operator  1.8.1    1.7.0        Succeeded

流程

1. 运行以下命令检查当前的限制：

   $ oc get peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \
   -o jsonpath='{.spec.limit}{"\n"}'

2. 运行以下命令修改 peerpodConfig CR 的 limit 属性：

   $ oc patch peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \
   --type merge --patch '{"spec":{"limit":"<value>"}}' 1

   1

   将 <value> 替换为您要定义的限制。

流程

1. 登录您的 OpenShift Container Platform 集群并检索实例 ID：

   $ INSTANCE_ID=$(oc get nodes -l 'node-role.kubernetes.io/worker' \
     -o jsonpath='{.items[0].spec.providerID}' | sed 's#[^ ]*/##g')

2. 检索 AWS 区域：

   $ AWS_REGION=$(oc get infrastructure/cluster -o jsonpath='{.status.platformStatus.aws.region}')

3. 检索安全组 ID，并将其存储在阵列中：

   $ AWS_SG_IDS=($(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} \
     --query 'Reservations[*].Instances[*].SecurityGroups[*].GroupId' \
     --output text --region $AWS_REGION))

4. 对于每个安全组 ID，授权 peer pod shim 访问 kata-agent 通信，并设置对等 pod 隧道：

   $ for AWS_SG_ID in "${AWS_SG_IDS[@]}"; do \
     aws ec2 authorize-security-group-ingress --group-id $AWS_SG_ID --protocol tcp --port 15150 --source-group $AWS_SG_ID --region $AWS_REGION \
     aws ec2 authorize-security-group-ingress --group-id $AWS_SG_ID --protocol tcp --port 9000 --source-group $AWS_SG_ID --region $AWS_REGION \
   done

流程

1. 根据以下示例创建 peer-pods-secret.yaml 清单文件：

   apiVersion: v1
   kind: Secret
   metadata:
     name: peer-pods-secret
     namespace: openshift-sandboxed-containers-operator
   type: Opaque
   stringData:
     AWS_ACCESS_KEY_ID: "<aws_access_key>" 1
     AWS_SECRET_ACCESS_KEY: "<aws_secret_access_key>" 2

   1

   指定 AWS_ACCESS_KEY_ID 值。

   2

   指定 AWS_SECRET_ACCESS_KEY 值。

2. 运行以下命令来创建 secret：

   $ oc apply -f peer-pods-secret.yaml

流程

1. 从 AWS 实例获取以下值：

   1. 检索并记录实例 ID：

      $ INSTANCE_ID=$(oc get nodes -l 'node-role.kubernetes.io/worker' -o jsonpath='{.items[0].spec.providerID}' | sed 's#[^ ]*/##g')

      这用于检索 secret 对象的其他值。

   2. 检索并记录 AWS 区域：

      $ AWS_REGION=$(oc get infrastructure/cluster -o jsonpath='{.status.platformStatus.aws.region}') && echo "AWS_REGION: \"$AWS_REGION\""

   3. 检索并记录 AWS 子网 ID：

      $ AWS_SUBNET_ID=$(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} --query 'Reservations[*].Instances[*].SubnetId' --region ${AWS_REGION} --output text) && echo "AWS_SUBNET_ID: \"$AWS_SUBNET_ID\""

   4. 检索并记录 AWS VPC ID：

      $ AWS_VPC_ID=$(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} --query 'Reservations[*].Instances[*].VpcId' --region ${AWS_REGION} --output text) && echo "AWS_VPC_ID: \"$AWS_VPC_ID\""

   5. 检索并记录 AWS 安全组 ID：

      $ AWS_SG_IDS=$(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} --query 'Reservations[*].Instances[*].SecurityGroups[*].GroupId' --region  $AWS_REGION --output json | jq -r '.[][][]' | paste -sd ",") && echo "AWS_SG_IDS: \"$AWS_SG_IDS\""

2. 根据以下示例创建 peer-pods-cm.yaml 清单文件：

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: peer-pods-cm
     namespace: openshift-sandboxed-containers-operator
   data:
     CLOUD_PROVIDER: "aws"
     VXLAN_PORT: "9000"
     PODVM_INSTANCE_TYPE: "t3.medium" 1
     PODVM_INSTANCE_TYPES: "t2.small,t2.medium,t3.large" 2
     PROXY_TIMEOUT: "5m"
     PODVM_AMI_ID: "<podvm_ami_id>" 3
     AWS_REGION: "<aws_region>" 4
     AWS_SUBNET_ID: "<aws_subnet_id>" 5
     AWS_VPC_ID: "<aws_vpc_id>" 6
     AWS_SG_IDS: "<aws_sg_ids>" 7
     DISABLECVM: "true"

   1

   定义工作负载中没有定义类型时使用的默认实例类型。

   2

   列出创建 pod 时可以指定的所有实例类型。这可让您为大型工作负载需要较少的内存和更多 CPU 或更大的实例类型的工作负载定义较小的实例类型。

   3

   可选：默认情况下，这个值会在运行 KataConfig CR 时填充，使用基于集群凭证的 AMI ID。如果您创建自己的 AMI，请指定正确的 AMI ID。

   4

   指定您检索到的 AWS_REGION 值。

   5

   指定您检索到的 AWS_SUBNET_ID 值。

   6

   指定您检索到的 AWS_VPC_ID 值。

   7

   指定您检索到的 AWS_SG_IDS 值。

3. 运行以下命令来创建配置映射：

   $ oc apply -f peer-pods-cm.yaml

流程

1. 根据以下示例创建 example-kataconfig.yaml 清单文件：

   apiVersion: kataconfiguration.openshift.io/v1
   kind: KataConfig
   metadata:
     name: example-kataconfig
   spec:
     enablePeerPods: true
     logLevel: info
   #  kataConfigPoolSelector:
   #    matchLabels:
   #      <label_key>: '<label_value>' 1

   1

   可选：如果您应用了节点标签在特定节点上安装 kata-remote，请指定键和值，例如 osc: 'true'。

2. 运行以下命令来创建 KataConfig CR：

   $ oc apply -f example-kataconfig.yaml

   新的 KataConfig CR 被创建，并在 worker 节点上作为运行时类安装 kata-remote。

   在验证安装前，等待 kata-remote 安装完成，以及 worker 节点重新引导。

3. 运行以下命令监控安装进度：

   $ watch "oc describe kataconfig | sed -n /^Status:/,/^Events/p"

   安装 kataNodes 下所有 worker 的状态并且条件 InProgress 为 False 时，而不指定原因，则会在集群中安装 kata-remote。

4. 运行以下命令验证守护进程集：

   $ oc get -n openshift-sandboxed-containers-operator ds/peerpodconfig-ctrl-caa-daemon

5. 运行以下命令验证运行时类：

   $ oc get runtimeclass

   输出示例

   NAME             HANDLER          AGE
   kata             kata             152m
   kata-remote      kata-remote      152m

流程

1. 获取您为对等 pod 创建的配置映射：

   $ oc get configmap peer-pods-cm -n openshift-sandboxed-containers-operator -o yaml

2. 检查 YAML 文件 的状态 小节。

   如果 PODVM_AMI_ID 参数被填充，则 pod 虚拟机镜像已创建成功。

故障排除

1. 运行以下命令来检索事件日志：

   $ oc get events -n openshift-sandboxed-containers-operator --field-selector involvedObject.name=osc-podvm-image-creation

2. 运行以下命令来检索作业日志：

   $ oc logs -n openshift-sandboxed-containers-operator jobs/osc-podvm-image-creation

流程

1. 将 spec.runtimeClassName: kata-remote 添加到每个 pod 模板工作负载对象的清单中，如下例所示：

   apiVersion: v1
   kind: <object>
   # ...
   spec:
     runtimeClassName: kata-remote
   # ...

2. 向 pod 模板对象添加注解，以使用手动定义的实例类型或自动实例类型：

   • 要使用手动定义的实例类型，请添加以下注解：

     apiVersion: v1
     kind: <object>
     metadata:
       annotations:
         io.katacontainers.config.hypervisor.machine_type: "t3.medium" 1
     # ...

     1

     指定配置映射中定义的实例类型。

   • 要使用自动实例类型，请添加以下注解：

     apiVersion: v1
     kind: <Pod>
     metadata:
       annotations:
         io.katacontainers.config.hypervisor.default_vcpus: <vcpus>
         io.katacontainers.config.hypervisor.default_memory: <memory>
     # ...

     定义可供工作负载使用的内存量。工作负载将根据可用内存量在自动实例类型上运行。

3. 运行以下命令，将更改应用到工作负载对象：

   $ oc apply -f <object.yaml>

   OpenShift Container Platform 创建工作负载对象并开始调度它。