4.2. 使用命令行部署工作负载

流程

1. 登录到 KVM 主机。

2. 运行以下命令设置 libvirt 池的名称：

   $ export LIBVIRT_POOL=<libvirt_pool>

   您需要 LIBVIRT_POOL 值来为 libvirt 提供程序创建 secret。

3. 运行以下命令设置 libvirt 池的名称：

   $ export LIBVIRT_VOL_NAME=<libvirt_volume>

   您需要 LIBVIRT_VOL_NAME 值来为 libvirt 提供程序创建 secret。

4. 运行以下命令，设置默认存储池位置的路径：

   $ export LIBVIRT_POOL_DIRECTORY=<target_directory> 1

   1

   为确保 libvirt 具有读写访问权限，请使用 libvirt 存储目录的子目录。默认为 /var/lib/libvirt/images/。

5. 运行以下命令来创建 libvirt 池：

   $ virsh pool-define-as $LIBVIRT_POOL --type dir --target "$LIBVIRT_POOL_DIRECTORY"

6. 运行以下命令来启动 libvirt 池：

   $ virsh pool-start $LIBVIRT_POOL

7. 运行以下命令，为池创建 libvirt 卷：

   $ virsh -c qemu:///system \
     vol-create-as --pool $LIBVIRT_POOL \
     --name $LIBVIRT_VOL_NAME \
     --capacity 20G \
     --allocation 2G \
     --prealloc-metadata \
     --format qcow2

流程

1. 登录您的 OpenShift Container Platform 集群。

2. 如果您有 RHEL 订阅，请为 Red Hat Subscription Management 设置订阅环境变量：

   • 运行以下命令来设置机构 ID：

     $ export ORG_ID=$(cat ~/.rh_subscription/orgid)

   • 运行以下命令来设置激活码：

     $ export ACTIVATION_KEY=$(cat ~/.rh_subscription/activation_key)

3. 如果您没有 RHEL 订阅，请为 RHEL 设置订阅值：

   • 运行以下命令来设置机构 ID：

     $ export ORG_ID=<RHEL_ORGID_VALUE> 1

     1

     指定您的 RHEL 机构 ID。

   • 运行以下命令来设置激活码：

     $ export ACTIVATION_KEY=<RHEL_ACTIVATION_KEY> 1

     1

     指定 RHEL 激活码。

4. 登录到您的 IBM Z® 系统。

5. 将 s390x RHEL KVM 客户机镜像 从红帽客户门户网站下载 到 libvirt 存储目录，以授予 libvirt 正确访问权限。

   默认目录为 /var/lib/libvirt/images。此镜像用于生成对等 pod 虚拟机镜像，其中包含相关的二进制文件。

6. 运行以下命令，为下载的镜像设置 IMAGE_URL ：

   $ export IMAGE_URL=<path/to/image> 1

   1

   指定 KVM 客户机镜像的路径。

7. 运行以下命令来注册客户端 KVM 镜像：

   $ export REGISTER_CMD="subscription-manager register --org=${ORG_ID} \
     --activationkey=${ACTIVATION_KEY}"

8. 运行以下命令来自定义客户机 KVM 镜像：

   $ virt-customize -v -x -a ${IMAGE_URL} --run-command "${REGISTER_CMD}"

9. 运行以下命令设置镜像的校验和：

   $ export IMAGE_CHECKSUM=$(sha256sum ${IMAGE_URL} | awk '{ print $1 }')

流程

1. 登录您的 OpenShift Container Platform 集群。

2. 运行以下命令克隆 cloud-api-adaptor 存储库：

   $ git clone --single-branch https://github.com/confidential-containers/cloud-api-adaptor.git

3. 运行以下命令，进入 podvm 目录：

   $ cd cloud-api-adaptor && git checkout 8577093

4. 创建生成最终 QCOW2 镜像的构建器镜像。

   • 如果您有一个订阅的 RHEL 系统，请运行以下命令：

     $ podman build -t podvm_builder_rhel_s390x \
       --build-arg ARCH="s390x" \
       --build-arg GO_VERSION="1.21.3" \
       --build-arg PROTOC_VERSION="25.1" \
       --build-arg PACKER_VERSION="v1.9.4" \
       --build-arg RUST_VERSION="1.72.0" \
       --build-arg YQ_VERSION="v4.35.1" \
       --build-arg YQ_CHECKSUM="sha256:4e6324d08630e7df733894a11830412a43703682d65a76f1fc925aac08268a45" \
       -f podvm/Dockerfile.podvm_builder.rhel .

   • 如果您有未订阅的 RHEL 系统，请运行以下命令：

     $ podman build -t podvm_builder_rhel_s390x \
       --build-arg ORG_ID=$ORG_ID \
       --build-arg ACTIVATION_KEY=$ACTIVATION_KEY \
       --build-arg ARCH="s390x" \
       --build-arg GO_VERSION="1.21.3" \
       --build-arg PROTOC_VERSION="25.1" \
       --build-arg PACKER_VERSION="v1.9.4" \
       --build-arg RUST_VERSION="1.72.0" \
       --build-arg YQ_VERSION="v4.35.1" \
       --build-arg YQ_CHECKSUM="sha256:4e6324d08630e7df733894a11830412a43703682d65a76f1fc925aac08268a45" \
       -f podvm/Dockerfile.podvm_builder.rhel .

5. 运行以下命令，使用运行对等 pod 所需的二进制文件生成中间镜像软件包：

   $ podman build -t podvm_binaries_rhel_s390x \
     --build-arg BUILDER_IMG="podvm_builder_rhel_s390x:latest" \
     --build-arg ARCH=s390x \
     -f podvm/Dockerfile.podvm_binaries.rhel .

   这个过程需要大量时间。

6. 运行以下命令，提取二进制文件并构建对等 pod QCOW2 镜像：

   $ podman build -t podvm_rhel_s390x \
     --build-arg ARCH=s390x \
     --build-arg CLOUD_PROVIDER=libvirt \
     --build-arg BUILDER_IMG="localhost/podvm_builder_rhel_s390x:latest" \
     --build-arg BINARIES_IMG="localhost/podvm_binaries_rhel_s390x:latest" \
     -v ${IMAGE_URL}:/tmp/rhel.qcow2:Z \
     --build-arg IMAGE_URL="/tmp/rhel.qcow2" \
     --build-arg IMAGE_CHECKSUM=${IMAGE_CHECKSUM} \
     -f podvm/Dockerfile.podvm.rhel .

7. 运行以下命令来创建镜像目录环境变量：

   $ export IMAGE_OUTPUT_DIR=<image_output_directory> 1

   1

   指定镜像的目录。

8. 运行以下命令来创建镜像目录：

   $ mkdir -p $IMAGE_OUTPUT_DIR

9. 运行以下命令保存提取的对等 pod QCOW2 镜像：

   $ podman save podvm_rhel_s390x | tar -xO --no-wildcards-match-slash '*.tar' | tar -x -C ${IMAGE_OUTPUT_DIR}

10. 将对等 pod QCOW2 镜像上传到 libvirt 卷：

    $ virsh -c qemu:///system vol-upload \
      --vol $LIBVIRT_VOL_NAME \
      $IMAGE_OUTPUT_DIR/podvm-*.qcow2 \
      --pool $LIBVIRT_POOL --sparse

流程

1. 根据以下示例创建 peer-pods-secret.yaml 清单文件：

   apiVersion: v1
   kind: Secret
   metadata:
     name: peer-pods-secret
     namespace: openshift-sandboxed-containers-operator
   type: Opaque
   stringData:
     CLOUD_PROVIDER: "libvirt"
     LIBVIRT_URI: "<libvirt_gateway_uri>" 1
     LIBVIRT_POOL: "<libvirt_pool>" 2
     LIBVIRT_VOL_NAME: "<libvirt_volume>" 3

   1

   指定 libvirt URI。

   2

   指定 libvirt 池。

   3

   指定 libvirt 卷名称。

2. 通过应用清单来创建 secret 对象：

   $ oc apply -f peer-pods-secret.yaml

流程

1. 根据以下示例创建 peer-pods-cm.yaml 清单：

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: peer-pods-cm
     namespace: openshift-sandboxed-containers-operator
   data:
     CLOUD_PROVIDER: "libvirt"
     PROXY_TIMEOUT: "15m"

2. 应用清单以创建配置映射：

   $ oc apply -f peer-pods-cm.yaml

   为您的 libvirt 供应商创建一个配置映射。

流程

1. 登录您的 OpenShift Container Platform 集群。

2. 运行以下命令来生成 SSH 密钥对：

   $ ssh-keygen -f ./id_rsa -N ""

3. 将公共 SSH 密钥复制到 KVM 主机：

   $ ssh-copy-id -i ./id_rsa.pub <KVM_HOST_IP>

4. 运行以下命令来创建 Secret 对象：

   $ oc create secret generic ssh-key-secret \
       -n openshift-sandboxed-containers-operator \
       --from-file=id_rsa.pub=./id_rsa.pub \
       --from-file=id_rsa=./id_rsa

   SSH 密钥 secret 已创建。

5. 删除您创建的 SSH 密钥：

   $ shred -remove id_rsa.pub id_rsa

流程

1. 根据以下示例创建 cluster-kataconfig.yaml 清单文件：

   apiVersion: kataconfiguration.openshift.io/v1
   kind: KataConfig
   metadata:
     name: cluster-kataconfig
   spec:
     enablePeerPods: true
     logLevel: info

2. 可选： 要在所选节点上安装 kata-remote，请根据以下示例指定节点标签：

   apiVersion: kataconfiguration.openshift.io/v1
   kind: KataConfig
   metadata:
     name: cluster-kataconfig
   spec:
     kataConfigPoolSelector:
       matchLabels:
         <label_key>: '<label_value>' 1
   # ...

   1

   指定所选节点的标签。

3. 创建 KataConfig CR：

   $ oc create -f cluster-kataconfig.yaml

   新的 KataConfig CR 被创建，并在 worker 节点上作为运行时类安装 kata-remote。

   在验证安装前，等待 kata-remote 安装完成，以及 worker 节点重新引导。

流程

1. 运行以下命令检查当前的限制：

   $ oc get peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \
   -o jsonpath='{.spec.limit}{"\n"}'

2. 运行以下命令修改 peerpodConfig CR 的 limit 属性：

   $ oc patch peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \
   --type merge --patch '{"spec":{"limit":"<value>"}}' 1

   1

   将 <value> 替换为您要定义的限制。

流程

1. 将 spec.runtimeClassName: kata-remote 添加到每个 pod 模板工作负载对象的清单中，如下例所示：

   apiVersion: v1
   kind: <object>
   # ...
   spec:
     runtimeClassName: kata-remote
   # ...

   OpenShift Container Platform 创建工作负载对象并开始调度它。