専用のハードウェアおよびドライバーの有効化

手順

1. 特定のリリースに対応する driver-toolkit のイメージ URL は、oc adm コマンドを使用してリリースイメージから取得できます。

   • x86 イメージの場合、コマンドは次のとおりです。

     $ oc adm release info quay.io/openshift-release-dev/ocp-release:{product-version}.z-x86_64 --image-for=driver-toolkit

   • ARM イメージの場合、コマンドは次のとおりです。

     $ oc adm release info quay.io/openshift-release-dev/ocp-release:{product-version}.z-aarch64 --image-for=driver-toolkit

   出力例

   ocp-release:4.11.0-x86_64 イメージの出力は以下のようになります。

   quay.io/openshift-release-dev/ocp-v4.0-art-dev@sha256:514e256367e8707e2c30f18a4f06fbd6c821ab9776602d2488e861f577a357d0

2. このイメージは、OpenShift Container Platform のインストールに必要なプルシークレットなどの有効なプルシークレットを使用してプルできます。

   $ podman pull --authfile=path/to/pullsecret.json quay.io/openshift-release-dev/ocp-v4.0-art-dev@sha256:<SHA>

1. YAML は、simple-kmod ドライバーコンテナーイメージを保存する ImageStream と、コンテナーをビルドする BuildConfig を定義します。この YAML を 0000-buildconfig.yaml.template として保存します。

   apiVersion: image.openshift.io/v1
   kind: ImageStream
   metadata:
     labels:
       app: simple-kmod-driver-container
     name: simple-kmod-driver-container
     namespace: simple-kmod-demo
   spec: {}
   ---
   apiVersion: build.openshift.io/v1
   kind: BuildConfig
   metadata:
     labels:
       app: simple-kmod-driver-build
     name: simple-kmod-driver-build
     namespace: simple-kmod-demo
   spec:
     nodeSelector:
       node-role.kubernetes.io/worker: ""
     runPolicy: "Serial"
     triggers:
       - type: "ConfigChange"
       - type: "ImageChange"
     source:
       git:
         ref: "master"
         uri: "https://github.com/openshift-psap/kvc-simple-kmod.git"
       type: Git
       dockerfile: |
         FROM DRIVER_TOOLKIT_IMAGE
   
         WORKDIR /build/
   
         # Expecting kmod software version as an input to the build
         ARG KMODVER
   
         # Grab the software from upstream
         RUN git clone https://github.com/openshift-psap/simple-kmod.git
         WORKDIR simple-kmod
   
         # Build and install the module
         RUN make all       KVER=$(rpm -q --qf "%{VERSION}-%{RELEASE}.%{ARCH}"  kernel-core) KMODVER=${KMODVER} \
         && make install   KVER=$(rpm -q --qf "%{VERSION}-%{RELEASE}.%{ARCH}"  kernel-core) KMODVER=${KMODVER}
   
         # Add the helper tools
         WORKDIR /root/kvc-simple-kmod
         ADD Makefile .
         ADD simple-kmod-lib.sh .
         ADD simple-kmod-wrapper.sh .
         ADD simple-kmod.conf .
         RUN mkdir -p /usr/lib/kvc/ \
         && mkdir -p /etc/kvc/ \
         && make install
   
         RUN systemctl enable kmods-via-containers@simple-kmod
     strategy:
       dockerStrategy:
         buildArgs:
           - name: KMODVER
             value: DEMO
     output:
       to:
         kind: ImageStreamTag
         name: simple-kmod-driver-container:demo

2. 以下のコマンドで、DRIVER_TOOLKIT_IMAGE の代わりに、実行中の OpenShift Container Platform バージョンのドライバーツールキットイメージを置き換えます。

   $ OCP_VERSION=$(oc get clusterversion/version -ojsonpath={.status.desired.version})

   $ DRIVER_TOOLKIT_IMAGE=$(oc adm release info $OCP_VERSION --image-for=driver-toolkit)

   $ sed "s#DRIVER_TOOLKIT_IMAGE#${DRIVER_TOOLKIT_IMAGE}#" 0000-buildconfig.yaml.template > 0000-buildconfig.yaml

3. 以下でイメージストリームおよびビルド設定を作成します。

   $ oc create -f 0000-buildconfig.yaml

4. ビルダー Pod が正常に完了したら、ドライバーコンテナーイメージを DaemonSet としてデプロイします。

   1. ホスト上でカーネルモジュールを読み込むには、特権付きセキュリティーコンテキストでドライバーコンテナーを実行する必要があります。以下の YAML ファイルには、ドライバーコンテナーを実行するための RBAC ルールおよび DaemonSet が含まれます。この YAML を 1000-drivercontainer.yaml として保存し ます。

      apiVersion: v1
      kind: ServiceAccount
      metadata:
        name: simple-kmod-driver-container
      ---
      apiVersion: rbac.authorization.k8s.io/v1
      kind: Role
      metadata:
        name: simple-kmod-driver-container
      rules:
      - apiGroups:
        - security.openshift.io
        resources:
        - securitycontextconstraints
        verbs:
        - use
        resourceNames:
        - privileged
      ---
      apiVersion: rbac.authorization.k8s.io/v1
      kind: RoleBinding
      metadata:
        name: simple-kmod-driver-container
      roleRef:
        apiGroup: rbac.authorization.k8s.io
        kind: Role
        name: simple-kmod-driver-container
      subjects:
      - kind: ServiceAccount
        name: simple-kmod-driver-container
      userNames:
      - system:serviceaccount:simple-kmod-demo:simple-kmod-driver-container
      ---
      apiVersion: apps/v1
      kind: DaemonSet
      metadata:
        name: simple-kmod-driver-container
      spec:
        selector:
          matchLabels:
            app: simple-kmod-driver-container
        template:
          metadata:
            labels:
              app: simple-kmod-driver-container
          spec:
            serviceAccount: simple-kmod-driver-container
            serviceAccountName: simple-kmod-driver-container
            containers:
            - image: image-registry.openshift-image-registry.svc:5000/simple-kmod-demo/simple-kmod-driver-container:demo
              name: simple-kmod-driver-container
              imagePullPolicy: Always
              command: ["/sbin/init"]
              lifecycle:
                preStop:
                  exec:
                    command: ["/bin/sh", "-c", "systemctl stop kmods-via-containers@simple-kmod"]
              securityContext:
                privileged: true
            nodeSelector:
              node-role.kubernetes.io/worker: ""

   2. RBAC ルールおよびデーモンセットを作成します。

      $ oc create -f 1000-drivercontainer.yaml

5. Pod がワーカーノードで実行された後に、simple_kmod カーネルモジュールが lsmod のホストマシンで正常に読み込まれることを確認します。

   1. Pod が実行されていることを確認します。

      $ oc get pod -n simple-kmod-demo

      出力例

      NAME                                 READY   STATUS      RESTARTS   AGE
      simple-kmod-driver-build-1-build     0/1     Completed   0          6m
      simple-kmod-driver-container-b22fd   1/1     Running     0          40s
      simple-kmod-driver-container-jz9vn   1/1     Running     0          40s
      simple-kmod-driver-container-p45cc   1/1     Running     0          40s

   2. ドライバーコンテナー Pod で lsmod コマンドを実行します。

      $ oc exec -it pod/simple-kmod-driver-container-p45cc -- lsmod | grep simple

      出力例

      simple_procfs_kmod     16384  0
      simple_kmod            16384  0

手順

1. SRO を openshift-operators namespace にインストールします。

   1. 以下の Subscription CR を作成し、YAML を sro-sub.yaml ファイルに保存します。

      Subscription CR の例

      apiVersion: operators.coreos.com/v1alpha1
      kind: Subscription
      metadata:
        name: openshift-special-resource-operator
        namespace: openshift-operators
      spec:
        channel: "stable"
        installPlanApproval: Automatic
        name: openshift-special-resource-operator
        source: redhat-operators
        sourceNamespace: openshift-marketplace

   2. 以下のコマンドを実行して Subscription オブジェクトを作成します。

      $ oc create -f sro-sub.yaml

   3. openshift-operators プロジェクトに切り替えます。

      $ oc project openshift-operators

手順

1. OpenShift Container Platform Web コンソールにログインします。

2. Special Resource Operator をインストールします。

   1. OpenShift Container Platform Web コンソールで、Operators → OperatorHub をクリックします。
   2. 利用可能な Operator の一覧から Special Resource Operator を選択し、Install をクリックします。
   3. Install Operator ページで、クラスターで特定の namespace を選択し、直前のセクションで作成した namespace を選択してから Install をクリックします。

1. Operators → Installed Operators ページに移動します。

2. Status が InstallSucceeded の状態で、Special Resource Operator が openshift-operators プロジェクトに一覧表示されていることを確認します。

   注記

   インストール時に、Operator は Failed ステータスを表示する可能性があります。インストールが後に InstallSucceeded メッセージを出して正常に実行される場合は、Failed メッセージを無視できます。

3. Operator がインストール済みとして表示されない場合に、さらにトラブルシューティングを実行します。

   1. Operators → Installed Operators ページに移動し、Operator Subscriptions および Install Plans タブで Status にエラーがあるかどうかを検査します。
   2. Workloads → Pods ページに移動し、openshift-operators プロジェクトで Pod のログを確認します。

手順

1. simple-kmod SpecialResource オブジェクトを作成するには、イメージをビルドするイメージストリームおよびビルド設定を定義し、コンテナーを実行するサービスアカウント、ロール、ロールバインディング、およびデーモンセットを定義します。カーネルモジュールを読み込めるように、特権付きセキュリティーコンテキストでデーモンセットを実行するにはサービスアカウント、ロール、およびロールバインディングが必要です。

   1. templates ディレクトリーを作成して、このディレクトリーに移動します。

      $ mkdir -p chart/simple-kmod-0.0.1/templates

      $ cd chart/simple-kmod-0.0.1/templates

   2. イメージストリームおよびビルド設定の YAML テンプレートを 0000-buildconfig.yaml として templates ディレクトリーに保存します。

      apiVersion: image.openshift.io/v1
      kind: ImageStream
      metadata:
        labels:
          app: {{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverContainer}} 1
        name: {{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverContainer}} 2
      spec: {}
      ---
      apiVersion: build.openshift.io/v1
      kind: BuildConfig
      metadata:
        labels:
          app: {{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverBuild}}  3
        name: {{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverBuild}} 4
        annotations:
          specialresource.openshift.io/wait: "true"
          specialresource.openshift.io/driver-container-vendor: simple-kmod
          specialresource.openshift.io/kernel-affine: "true"
      spec:
        nodeSelector:
          node-role.kubernetes.io/worker: ""
        runPolicy: "Serial"
        triggers:
          - type: "ConfigChange"
          - type: "ImageChange"
        source:
          git:
            ref: {{.Values.specialresource.spec.driverContainer.source.git.ref}}
            uri: {{.Values.specialresource.spec.driverContainer.source.git.uri}}
          type: Git
        strategy:
          dockerStrategy:
            dockerfilePath: Dockerfile.SRO
            buildArgs:
              - name: "IMAGE"
                value: {{ .Values.driverToolkitImage  }}
              {{- range $arg := .Values.buildArgs }}
              - name: {{ $arg.name }}
                value: {{ $arg.value }}
              {{- end }}
              - name: KVER
                value: {{ .Values.kernelFullVersion }}
        output:
          to:
            kind: ImageStreamTag
            name: {{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverContainer}}:v{{.Values.kernelFullVersion}} 5

      1 2 3 4 5

      {{.Values.specialresource.metadata.name}} などのテンプレートは、SpecialResource CR のフィールドおよび {{.Values.KernelFullVersion}} などの Operator に認識される変数に基づいて SRO により入力されます。

   3. RBAC リソースおよびデーモンセットの以下の YAML テンプレートを 1000-driver-container.yaml として templates ディレクトリーに保存します。

      apiVersion: v1
      kind: ServiceAccount
      metadata:
        name: {{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverContainer}}
      ---
      apiVersion: rbac.authorization.k8s.io/v1
      kind: Role
      metadata:
        name: {{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverContainer}}
      rules:
      - apiGroups:
        - security.openshift.io
        resources:
        - securitycontextconstraints
        verbs:
        - use
        resourceNames:
        - privileged
      ---
      apiVersion: rbac.authorization.k8s.io/v1
      kind: RoleBinding
      metadata:
        name: {{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverContainer}}
      roleRef:
        apiGroup: rbac.authorization.k8s.io
        kind: Role
        name: {{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverContainer}}
      subjects:
      - kind: ServiceAccount
        name: {{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverContainer}}
        namespace: {{.Values.specialresource.spec.namespace}}
      ---
      apiVersion: apps/v1
      kind: DaemonSet
      metadata:
        labels:
          app: {{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverContainer}}
        name: {{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverContainer}}
        annotations:
          specialresource.openshift.io/wait: "true"
          specialresource.openshift.io/state: "driver-container"
          specialresource.openshift.io/driver-container-vendor: simple-kmod
          specialresource.openshift.io/kernel-affine: "true"
          specialresource.openshift.io/from-configmap: "true"
      spec:
        updateStrategy:
          type: OnDelete
        selector:
          matchLabels:
            app: {{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverContainer}}
        template:
          metadata:
            labels:
              app: {{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverContainer}}
          spec:
            priorityClassName: system-node-critical
            serviceAccount: {{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverContainer}}
            serviceAccountName: {{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverContainer}}
            containers:
            - image: image-registry.openshift-image-registry.svc:5000/{{.Values.specialresource.spec.namespace}}/{{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverContainer}}:v{{.Values.kernelFullVersion}}
              name: {{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverContainer}}
              imagePullPolicy: Always
              command: ["/sbin/init"]
              lifecycle:
                preStop:
                  exec:
                    command: ["/bin/sh", "-c", "systemctl stop kmods-via-containers@{{.Values.specialresource.metadata.name}}"]
              securityContext:
                privileged: true
            nodeSelector:
              node-role.kubernetes.io/worker: ""
              feature.node.kubernetes.io/kernel-version.full: "{{.Values.KernelFullVersion}}"

   4. chart/simple-kmod-0.0.1 ディレクトリーに移動します。

      $ cd ..

   5. チャートに関する以下の YAML を Chart.yaml として chart/simple-kmod-0.0.1 ディレクトリーに保存します。

      apiVersion: v2
      name: simple-kmod
      description: Simple kmod will deploy a simple kmod driver-container
      icon: https://avatars.githubusercontent.com/u/55542927
      type: application
      version: 0.0.1
      appVersion: 1.0.0

2. chart ディレクトリーから、helm package コマンドを使用してチャートを作成します。

   $ helm package simple-kmod-0.0.1/

   出力例

   Successfully packaged chart and saved it to: /data/<username>/git/<github_username>/special-resource-operator/yaml-for-docs/chart/simple-kmod-0.0.1/simple-kmod-0.0.1.tgz

3. 設定マップを作成して、チャートファイルを保存します。

   1. 設定マップファイルのディレクトリーを作成します。

      $ mkdir cm

   2. Helm チャートを cm ディレクトリーにコピーします。

      $ cp simple-kmod-0.0.1.tgz cm/simple-kmod-0.0.1.tgz

   3. Helm チャートが含まれる Helm リポジトリーを指定してインデックスファイルを作成します。

      $ helm repo index cm --url=cm://simple-kmod/simple-kmod-chart

   4. Helm チャートで定義されるオブジェクトの namespace を作成します。

      $ oc create namespace simple-kmod

   5. 設定マップオブジェクトを作成します。

      $ oc create cm simple-kmod-chart --from-file=cm/index.yaml --from-file=cm/simple-kmod-0.0.1.tgz -n simple-kmod

4. 以下の SpecialResource マニフェストを使用して、設定マップで作成した Helm チャートにより simple-kmod オブジェクトをデプロイします。この YAML を simple-kmod-configmap.yaml として保存します。

   apiVersion: sro.openshift.io/v1beta1
   kind: SpecialResource
   metadata:
     name: simple-kmod
   spec:
     #debug: true 1
     namespace: simple-kmod
     chart:
       name: simple-kmod
       version: 0.0.1
       repository:
         name: example
         url: cm://simple-kmod/simple-kmod-chart 2
     set:
       kind: Values
       apiVersion: sro.openshift.io/v1beta1
       kmodNames: ["simple-kmod", "simple-procfs-kmod"]
       buildArgs:
       - name: "KMODVER"
         value: "SRO"
     driverContainer:
       source:
         git:
           ref: "master"
           uri: "https://github.com/openshift-psap/kvc-simple-kmod.git"

   1

   オプション:#debug: true 行のコメントを解除して、チャートに YAML ファイルを Operator ログに完全に出力し、ログが作成され、適切にテンプレート化されていることを確認します。

   2

   spec.chart.repository.url フィールドは SRO に対して設定マップでチャートを検索するように指示します。

5. コマンドラインで、SpecialResource ファイルを作成します。

   $ oc create -f simple-kmod-configmap.yaml

1. oc get pods コマンドを使用して、ビルド Pod のステータスを表示します。

   $ oc get pods -n simple-kmod

   出力例

   NAME                                                  READY   STATUS      RESTARTS   AGE
   simple-kmod-driver-build-12813789169ac0ee-1-build     0/1     Completed   0          7m12s
   simple-kmod-driver-container-12813789169ac0ee-mjsnh   1/1     Running     0          8m2s
   simple-kmod-driver-container-12813789169ac0ee-qtkff   1/1     Running     0          8m2s

2. 上記の oc get pods コマンドから取得したビルド Pod 名と共に oc logs コマンドを使用して、simple-kmod ドライバーコンテナーイメージビルドのログを表示します。

   $ oc logs pod/simple-kmod-driver-build-12813789169ac0ee-1-build -n simple-kmod

3. simple-kmod カーネルモジュールがロードされていることを確認するには、上記の oc get pods コマンドから返されたドライバーコンテナー Pod のいずれかで lsmod コマンドを実行します。

   $ oc exec -n simple-kmod -it pod/simple-kmod-driver-container-12813789169ac0ee-mjsnh -- lsmod | grep simple

   出力例

   simple_procfs_kmod     16384  0
   simple_kmod            16384  0

手順

1. 以下のコマンドを実行して templates ディレクトリーを作成します。

   $ mkdir -p charts/acm-simple-kmod-0.0.1/templates

2. 以下のコマンドを実行して templates ディレクトリーに移動します。

   $ cd charts/acm-simple-kmod-0.0.1/templates

3. BuildConfig、Policy、および PlacementRule リソースのテンプレートファイルを作成します。

   1. イメージストリームとビルド設定のこの YAML テンプレートを 0001-buildconfig.yaml として templates ディレクトリーに保存します。

      apiVersion: build.openshift.io/v1
      kind: BuildConfig
      metadata:
          labels:
              app: {{ printf "%s-%s" .Values.specialResourceModule.metadata.name .Values.kernelFullVersion | replace "." "-" | replace "_" "-" | trunc 63 }}
          name: {{ printf "%s-%s" .Values.specialResourceModule.metadata.name .Values.kernelFullVersion | replace "." "-" | replace "_" "-" | trunc 63 }}
          annotations:
      specialresource.openshift.io/wait: "true"
      spec:
          nodeSelector:
              node-role.kubernetes.io/worker: ""
          runPolicy: "Serial"
          triggers:
              - type: "ConfigChange"
              - type: "ImageChange"
          source:
          dockerfile: |
              FROM {{ .Values.driverToolkitImage  }} as builder
              WORKDIR /build/
              RUN git clone -b {{.Values.specialResourceModule.spec.set.git.ref}} {{.Values.specialResourceModule.spec.set.git.uri}}
              WORKDIR /build/simple-kmod
              RUN make all install KVER={{ .Values.kernelFullVersion }}
              FROM registry.redhat.io/ubi8/ubi-minimal
              RUN microdnf -y install kmod
              COPY --from=builder /etc/driver-toolkit-release.json /etc/
              COPY --from=builder /lib/modules/{{ .Values.kernelFullVersion }}/* /lib/modules/{{ .Values.kernelFullVersion }}/
          strategy:
              dockerStrategy:
                  dockerfilePath: Dockerfile.SRO
                  buildArgs:
                      - name: "IMAGE"
                        value: {{ .Values.driverToolkitImage  }}
                      {{- range $arg := .Values.buildArgs }}
                      - name: {{ $arg.name }}
                        value: {{ $arg.value }}
                      {{- end }}
                      - name: KVER
                        value: {{ .Values.kernelFullVersion }}
          output:
              to:
                  kind: DockerImage
                  name: {{.Values.registry}}/{{.Values.specialResourceModule.metadata.name}}-{{.Values.groupName.driverContainer}}:{{.Values.kernelFullVersion}}

   2. ACM ポリシーのこの YAML テンプレートを 0002-policy.yaml として templates ディレクトリーに保存します。

      apiVersion: policy.open-cluster-management.io/v1
      kind: Policy
      metadata:
          name: policy-{{.Values.specialResourceModule.metadata.name}}-ds
          annotations:
              policy.open-cluster-management.io/categories: CM Configuration Management
              policy.open-cluster-management.io/controls: CM-2 Baseline Configuration
              policy.open-cluster-management.io/standards: NIST-CSF
      spec:
          remediationAction: enforce
          disabled: false
          policy-templates:
              - objectDefinition:
                  apiVersion: policy.open-cluster-management.io/v1
                  kind: ConfigurationPolicy
                  metadata:
                      name: config-{{.Values.specialResourceModule.metadata.name}}-ds
                  spec:
                      remediationAction: enforce
                      severity: low
                      namespaceselector:
                          exclude:
                              - kube-*
                          include:
                              - '*'
                      object-templates:
                          - complianceType: musthave
                            objectDefinition:
                              apiVersion: v1
                              kind: Namespace
                              metadata:
                                  name: {{.Values.specialResourceModule.spec.namespace}}
                          - complianceType: mustonlyhave
                            objectDefinition:
                              apiVersion: v1
                              kind: ServiceAccount
                              metadata:
                                  name: {{.Values.specialResourceModule.metadata.name}}
                                  namespace: {{.Values.specialResourceModule.spec.namespace}}
                          - complianceType: mustonlyhave
                            objectDefinition:
                              apiVersion: rbac.authorization.k8s.io/v1
                              kind: Role
                              metadata:
                                  name: {{.Values.specialResourceModule.metadata.name}}
                                  namespace: {{.Values.specialResourceModule.spec.namespace}}
                              rules:
                              - apiGroups:
                                  - security.openshift.io
                                resources:
                                  - securitycontextconstraints
                                verbs:
                                  - use
                                resourceNames:
                                  - privileged
                          - complianceType: mustonlyhave
                            objectDefinition:
                              apiVersion: rbac.authorization.k8s.io/v1
                              kind: RoleBinding
                              metadata:
                                  name: {{.Values.specialResourceModule.metadata.name}}
                                  namespace: {{.Values.specialResourceModule.spec.namespace}}
                              roleRef:
                                  apiGroup: rbac.authorization.k8s.io
                                  kind: Role
                                  name: {{.Values.specialResourceModule.metadata.name}}
                              subjects:
                              - kind: ServiceAccount
                                name: {{.Values.specialResourceModule.metadata.name}}
                                namespace: {{.Values.specialResourceModule.spec.namespace}}
                          - complianceType: musthave
                            objectDefinition:
                              apiVersion: apps/v1
                              kind: DaemonSet
                              metadata:
                                  labels:
                                      app: {{ printf "%s-%s" .Values.specialResourceModule.metadata.name .Values.kernelFullVersion | replace "." "-" | replace "_" "-" | trunc 63 }}
                                  name: {{ printf "%s-%s" .Values.specialResourceModule.metadata.name .Values.kernelFullVersion | replace "." "-" | replace "_" "-" | trunc 63 }}
                                  namespace: {{.Values.specialResourceModule.spec.namespace}}
                              spec:
                                  updateStrategy:
                                      type: OnDelete
                                  selector:
                                      matchLabels:
                                          app: {{ printf "%s-%s" .Values.specialResourceModule.metadata.name .Values.kernelFullVersion | replace "." "-" | replace "_" "-" | trunc 63 }}
                                  template:
                                      metadata:
                                          labels:
                                              app: {{ printf "%s-%s" .Values.specialResourceModule.metadata.name .Values.kernelFullVersion | replace "." "-" | replace "_" "-" | trunc 63 }}
                                      spec:
                                          priorityClassName: system-node-critical
                                          serviceAccount: {{.Values.specialResourceModule.metadata.name}}
                                          serviceAccountName: {{.Values.specialResourceModule.metadata.name}}
                                          containers:
                                          - image: {{.Values.registry}}/{{.Values.specialResourceModule.metadata.name}}-{{.Values.groupName.driverContainer}}:{{.Values.kernelFullVersion}}
                                            name: {{.Values.specialResourceModule.metadata.name}}
                                            imagePullPolicy: Always
                                            command: [sleep, infinity]
                                            lifecycle:
                                              preStop:
                                                  exec:
                                                      command: ["modprobe", "-r", "-a" , "simple-kmod", "simple-procfs-kmod"]
                                            securityContext:
                                              privileged: true

   3. ポリシーの配置用に、この YAML テンプレートを 0003-policy.yaml として templates ディレクトリーに保存します。

      apiVersion: apps.open-cluster-management.io/v1
      kind: PlacementRule
      metadata:
          name: {{.Values.specialResourceModule.metadata.name}}-placement
      spec:
          clusterConditions:
          - status: "True"
            type: ManagedClusterConditionAvailable
          clusterSelector:
            matchExpressions:
            - key: name
              operator: NotIn
              values:
              - local-cluster
      ---
      apiVersion: policy.open-cluster-management.io/v1
      kind: PlacementBinding
      metadata:
          name: {{.Values.specialResourceModule.metadata.name}}-binding
      placementRef:
          apiGroup: apps.open-cluster-management.io
          kind: PlacementRule
          name: {{.Values.specialResourceModule.metadata.name}}-placement
      subjects:
          - apiGroup: policy.open-cluster-management.io
            kind: Policy
            name: policy-{{.Values.specialResourceModule.metadata.name}}-ds

   4. 以下のコマンドを実行して charts/acm-simple-kmod-0.0.1 ディレクトリーに移動します。

      cd ..

   5. チャートの次の YAML テンプレートを Charts/acm-simple-kmod-0.0.1 ディレクトリーに Chart.yaml として保存します。

      apiVersion: v2
      name: acm-simple-kmod
      description: Build ACM enabled simple-kmod driver with SpecialResourceOperator
      icon: https://avatars.githubusercontent.com/u/55542927
      type: application
      version: 0.0.1
      appVersion: 1.6.4

4. charts ディレクトリーから、以下のコマンドを使用してチャートを作成します。

   $ helm package acm-simple-kmod-0.0.1/

   出力例

   Successfully packaged chart and saved it to: <directory>/charts/acm-simple-kmod-0.0.1.tgz

5. チャートファイルを保存する設定マップを作成します。

   1. 以下のコマンドを実行して、設定マップファイルのディレクトリーを作成します。

      $ mkdir cm

   2. 以下のコマンドを実行して、Helm チャートを cm ディレクトリーにコピーします。

      $ cp acm-simple-kmod-0.0.1.tgz cm/acm-simple-kmod-0.0.1.tgz

   3. 以下のコマンドを実行して、Helm チャートを含む Helm リポジトリーを指定してインデックスファイルを作成します。

      $ helm repo index cm --url=cm://acm-simple-kmod/acm-simple-kmod-chart

   4. 以下のコマンドを実行して、Helm チャートで定義されるオブジェクトの namespace を作成します。

      $ oc create namespace acm-simple-kmod

   5. 以下のコマンドを実行して設定マップオブジェクトを作成します。

      $ oc create cm acm-simple-kmod-chart --from-file=cm/index.yaml --from-file=cm/acm-simple-kmod-0.0.1.tgz -n acm-simple-kmod

6. 以下の SpecialResourceModule マニフェストを使用して、設定マップで作成した Helm チャートを使用して simple-kmod オブジェクトをデプロイします。この YAML ファイルを acm-simple-kmod.yaml として保存します。

   apiVersion: sro.openshift.io/v1beta1
   kind: SpecialResourceModule
   metadata:
       name: acm-simple-kmod
   spec:
       namespace: acm-simple-kmod
       chart:
           name: acm-simple-kmod
           version: 0.0.1
           repository:
               name: acm-simple-kmod
               url: cm://acm-simple-kmod/acm-simple-kmod-chart
       set:
           kind: Values
           apiVersion: sro.openshift.io/v1beta1
           buildArgs:
               - name: "KMODVER"
                 value: "SRO"
           registry: <your_registry>  1
           git:
               ref: master
               uri: https://github.com/openshift-psap/kvc-simple-kmod.git
       watch:
               - path: "$.metadata.labels.openshiftVersion"
                 apiVersion: cluster.open-cluster-management.io/v1
                 kind: ManagedCluster
                 name: spoke1

   1

   設定したレジストリーの URL を指定します。

7. 以下のコマンドを実行して、特別なリソースモジュールを作成します。

   $ oc apply -f charts/examples/acm-simple-kmod.yaml

検証

1. 以下のコマンドを実行して、ビルド Pod のステータスを確認します。

   $ KUBECONFIG=~/hub/auth/kubeconfig oc get pod -n acm-simple-kmod

   出力例

   NAME                                                   READY   STATUS      RESTARTS   AGE
   acm-simple-kmod-4-18-0-305-34-2-el8-4-x86-64-1-build   0/1     Completed   0          42m

2. 以下のコマンドを実行して、ポリシーが作成されていることを確認します。

   $ KUBECONFIG=~/hub/auth/kubeconfig oc get placementrules,placementbindings,policies -n acm-simple-kmod

   出力例

   NAME                                                                      AGE   REPLICAS
   placementrule.apps.open-cluster-management.io/acm-simple-kmod-placement   40m
   
   NAME                                                                         AGE
   placementbinding.policy.open-cluster-management.io/acm-simple-kmod-binding   40m
   
   NAME                                                                 REMEDIATION ACTION   COMPLIANCE STATE   AGE
   policy.policy.open-cluster-management.io/policy-acm-simple-kmod-ds   enforce              Compliant          40m

3. 以下のコマンドを実行して、リソースが調整されていることを確認します。

   $ KUBECONFIG=~/hub/auth/kubeconfig oc get specialresourcemodule acm-simple-kmod -o json | jq -r '.status'

   出力例

   {
     "versions": {
       "quay.io/openshift-release-dev/ocp-v4.0-art-dev@sha256:6a3330ef5a178435721ff4efdde762261a9c55212e9b4534385e04037693fbe4": {
         "complete": true
       }
     }
   }

4. 以下のコマンドを実行して、リソースがスポークで稼働していることを確認します。

   $ KUBECONFIG=~/spoke1/kubeconfig oc get ds,pod -n acm-simple-kmod

   出力例

   AME                                                          DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
   daemonset.apps/acm-simple-kmod-4-18-0-305-45-1-el8-4-x86-64   3         3         3       3            3           <none>          26m
   
   NAME                                                     READY   STATUS    RESTARTS   AGE
   pod/acm-simple-kmod-4-18-0-305-45-1-el8-4-x86-64-brw78   1/1     Running   0          26m
   pod/acm-simple-kmod-4-18-0-305-45-1-el8-4-x86-64-fqh5h   1/1     Running   0          26m
   pod/acm-simple-kmod-4-18-0-305-45-1-el8-4-x86-64-m9sfd   1/1     Running   0          26m

手順

1. NFD Operator の namespace を作成します。

   1. openshift-nfd namespace を定義する以下の Namespace カスタムリソース (CR) を作成し、YAML を nfd-namespace.yaml ファイルに保存します。

      apiVersion: v1
      kind: Namespace
      metadata:
        name: openshift-nfd

   2. 以下のコマンドを実行して namespace を作成します。

      $ oc create -f nfd-namespace.yaml

2. 以下のオブジェクトを作成して、直前の手順で作成した namespace に NFD Operator をインストールします。

   1. 以下の OperatorGroup CR を作成し、YAML を nfd-operatorgroup.yaml ファイルに保存します。

      apiVersion: operators.coreos.com/v1
      kind: OperatorGroup
      metadata:
        generateName: openshift-nfd-
        name: openshift-nfd
        namespace: openshift-nfd
      spec:
        targetNamespaces:
        - openshift-nfd

   2. 以下のコマンドを実行して OperatorGroup CR を作成します。

      $ oc create -f nfd-operatorgroup.yaml

   3. 以下の Subscription CR を作成し、YAML を nfd-sub.yaml ファイルに保存します。

      Subscription の例

      apiVersion: operators.coreos.com/v1alpha1
      kind: Subscription
      metadata:
        name: nfd
        namespace: openshift-nfd
      spec:
        channel: "stable"
        installPlanApproval: Automatic
        name: nfd
        source: redhat-operators
        sourceNamespace: openshift-marketplace

   4. 以下のコマンドを実行して Subscription オブジェクトを作成します。

      $ oc create -f nfd-sub.yaml

   5. openshift-nfd プロジェクトに切り替えます。

      $ oc project openshift-nfd

手順

1. OpenShift Container Platform Web コンソールで、Operators → OperatorHub をクリックします。
2. 利用可能な Operator の一覧から Node Feature Discovery を選択してから Install をクリックします。
3. Install Operator ページで A specific namespace on the cluster を選択し、Install をクリックします。namespace が作成されるため、これを作成する必要はありません。

1. Operators → Installed Operators ページに移動します。

2. Status が InstallSucceeded の Node Feature Discovery が openshift-nfd プロジェクトに一覧表示され ていることを確認します。

   注記

   インストール時に、 Operator は Failed ステータスを表示する可能性があります。インストールが後に InstallSucceeded メッセージを出して正常に実行される場合は、Failed メッセージを無視できます。

1. Operators → Installed Operators ページに移動し、Operator Subscriptions および Install Plans タブで Status にエラーがあるかどうかを検査します。
2. Workloads → Pods ページに移動し、openshift-nfd プロジェクトで Pod のログを確認します。

手順

1. 以下の NodeFeatureDiscovery カスタムリソース (CR) を作成し、YAML を NodeFeatureDiscovery .yaml ファイルに保存します。

   apiVersion: nfd.openshift.io/v1
   kind: NodeFeatureDiscovery
   metadata:
     name: nfd-instance
     namespace: openshift-nfd
   spec:
     instance: "" # instance is empty by default
     topologyupdater: false # False by default
     operand:
       image: registry.redhat.io/openshift4/ose-node-feature-discovery:v4.11
       imagePullPolicy: Always
     workerConfig:
       configData: |
         core:
         #  labelWhiteList:
         #  noPublish: false
           sleepInterval: 60s
         #  sources: [all]
         #  klog:
         #    addDirHeader: false
         #    alsologtostderr: false
         #    logBacktraceAt:
         #    logtostderr: true
         #    skipHeaders: false
         #    stderrthreshold: 2
         #    v: 0
         #    vmodule:
         ##   NOTE: the following options are not dynamically run-time configurable
         ##         and require a nfd-worker restart to take effect after being changed
         #    logDir:
         #    logFile:
         #    logFileMaxSize: 1800
         #    skipLogHeaders: false
         sources:
           cpu:
             cpuid:
         #     NOTE: whitelist has priority over blacklist
               attributeBlacklist:
                 - "BMI1"
                 - "BMI2"
                 - "CLMUL"
                 - "CMOV"
                 - "CX16"
                 - "ERMS"
                 - "F16C"
                 - "HTT"
                 - "LZCNT"
                 - "MMX"
                 - "MMXEXT"
                 - "NX"
                 - "POPCNT"
                 - "RDRAND"
                 - "RDSEED"
                 - "RDTSCP"
                 - "SGX"
                 - "SSE"
                 - "SSE2"
                 - "SSE3"
                 - "SSE4.1"
                 - "SSE4.2"
                 - "SSSE3"
               attributeWhitelist:
           kernel:
             kconfigFile: "/path/to/kconfig"
             configOpts:
               - "NO_HZ"
               - "X86"
               - "DMI"
           pci:
             deviceClassWhitelist:
               - "0200"
               - "03"
               - "12"
             deviceLabelFields:
               - "class"
     customConfig:
       configData: |
             - name: "more.kernel.features"
               matchOn:
               - loadedKMod: ["example_kmod3"]

1. 以下のコマンドを実行し、NodeFeatureDiscovery CR インスタンスを作成します。

   $ oc create -f NodeFeatureDiscovery.yaml

手順

1. Operators → Installed Operators ページに移動します。
2. Node Feature Discovery を見つけ、Provided APIs でボックスを表示します。
3. Create instance をクリックします。
4. NodeFeatureDiscovery CR の値を編集します。
5. Create をクリックします。