특수 하드웨어 및 드라이버 활성화

절차

1. 특정 릴리스에 해당하는 driver-toolkit의 이미지 URL은 oc adm 명령을 사용하여 릴리스 이미지에서 얻을 수 있습니다.

   • x86 이미지의 경우 명령은 다음과 같습니다.

     $ oc adm release info quay.io/openshift-release-dev/ocp-release:{product-version}.z-x86_64 --image-for=driver-toolkit

   • ARM 이미지의 경우 명령은 다음과 같습니다.

     $ oc adm release info quay.io/openshift-release-dev/ocp-release:{product-version}.z-aarch64 --image-for=driver-toolkit

   출력 예

   ocp-release:4.11.0-x86_64 이미지의 출력은 다음과 같습니다.

   quay.io/openshift-release-dev/ocp-v4.0-art-dev@sha256:514e256367e8707e2c30f18a4f06fbd6c821ab9776602d2488e861f577a357d0

2. 이 이미지는 OpenShift Container Platform을 설치하는 데 필요한 pull secret과 같은 유효한 풀 시크릿을 사용하여 가져올 수 있습니다.

   $ podman pull --authfile=path/to/pullsecret.json quay.io/openshift-release-dev/ocp-v4.0-art-dev@sha256:<SHA>

1. YAML은 simple-kmod 드라이버 컨테이너 이미지를 저장하기 위한 ImageStream과 컨테이너 빌드를 위한 BuildConfig를 정의합니다. 이 YAML을 0000-buildconfig.yaml.template로 저장합니다.

   apiVersion: image.openshift.io/v1
   kind: ImageStream
   metadata:
     labels:
       app: simple-kmod-driver-container
     name: simple-kmod-driver-container
     namespace: simple-kmod-demo
   spec: {}
   ---
   apiVersion: build.openshift.io/v1
   kind: BuildConfig
   metadata:
     labels:
       app: simple-kmod-driver-build
     name: simple-kmod-driver-build
     namespace: simple-kmod-demo
   spec:
     nodeSelector:
       node-role.kubernetes.io/worker: ""
     runPolicy: "Serial"
     triggers:
       - type: "ConfigChange"
       - type: "ImageChange"
     source:
       git:
         ref: "master"
         uri: "https://github.com/openshift-psap/kvc-simple-kmod.git"
       type: Git
       dockerfile: |
         FROM DRIVER_TOOLKIT_IMAGE
   
         WORKDIR /build/
   
         # Expecting kmod software version as an input to the build
         ARG KMODVER
   
         # Grab the software from upstream
         RUN git clone https://github.com/openshift-psap/simple-kmod.git
         WORKDIR simple-kmod
   
         # Build and install the module
         RUN make all       KVER=$(rpm -q --qf "%{VERSION}-%{RELEASE}.%{ARCH}"  kernel-core) KMODVER=${KMODVER} \
         && make install   KVER=$(rpm -q --qf "%{VERSION}-%{RELEASE}.%{ARCH}"  kernel-core) KMODVER=${KMODVER}
   
         # Add the helper tools
         WORKDIR /root/kvc-simple-kmod
         ADD Makefile .
         ADD simple-kmod-lib.sh .
         ADD simple-kmod-wrapper.sh .
         ADD simple-kmod.conf .
         RUN mkdir -p /usr/lib/kvc/ \
         && mkdir -p /etc/kvc/ \
         && make install
   
         RUN systemctl enable kmods-via-containers@simple-kmod
     strategy:
       dockerStrategy:
         buildArgs:
           - name: KMODVER
             value: DEMO
     output:
       to:
         kind: ImageStreamTag
         name: simple-kmod-driver-container:demo

2. "DRIVER_TOOLKIT_IMAGE" 대신 실행 중인 OpenShift Container Platform 버전에 대해 올바른 드라이버 툴킷 이미지를 다음 명령으로 대체하십시오.

   $ OCP_VERSION=$(oc get clusterversion/version -ojsonpath={.status.desired.version})

   $ DRIVER_TOOLKIT_IMAGE=$(oc adm release info $OCP_VERSION --image-for=driver-toolkit)

   $ sed "s#DRIVER_TOOLKIT_IMAGE#${DRIVER_TOOLKIT_IMAGE}#" 0000-buildconfig.yaml.template > 0000-buildconfig.yaml

3. 이미지 스트림 및 빌드 구성을 만듭니다.

   $ oc create -f 0000-buildconfig.yaml

4. 빌더 Pod가 성공적으로 완료되면 드라이버 컨테이너 이미지를 DaemonSet으로 배포합니다.

   1. 호스트에서 커널 모듈을 로드하려면 드라이버 컨테이너를 권한 있는 보안 컨텍스트로 실행해야 합니다. 다음 YAML 파일에는 RBAC 규칙과 드라이버 컨테이너 실행을 위한 DaemonSet이 포함되어 있습니다. 이 YAML을 1000-drivercontainer.yaml로 저장합니다.

      apiVersion: v1
      kind: ServiceAccount
      metadata:
        name: simple-kmod-driver-container
      ---
      apiVersion: rbac.authorization.k8s.io/v1
      kind: Role
      metadata:
        name: simple-kmod-driver-container
      rules:
      - apiGroups:
        - security.openshift.io
        resources:
        - securitycontextconstraints
        verbs:
        - use
        resourceNames:
        - privileged
      ---
      apiVersion: rbac.authorization.k8s.io/v1
      kind: RoleBinding
      metadata:
        name: simple-kmod-driver-container
      roleRef:
        apiGroup: rbac.authorization.k8s.io
        kind: Role
        name: simple-kmod-driver-container
      subjects:
      - kind: ServiceAccount
        name: simple-kmod-driver-container
      userNames:
      - system:serviceaccount:simple-kmod-demo:simple-kmod-driver-container
      ---
      apiVersion: apps/v1
      kind: DaemonSet
      metadata:
        name: simple-kmod-driver-container
      spec:
        selector:
          matchLabels:
            app: simple-kmod-driver-container
        template:
          metadata:
            labels:
              app: simple-kmod-driver-container
          spec:
            serviceAccount: simple-kmod-driver-container
            serviceAccountName: simple-kmod-driver-container
            containers:
            - image: image-registry.openshift-image-registry.svc:5000/simple-kmod-demo/simple-kmod-driver-container:demo
              name: simple-kmod-driver-container
              imagePullPolicy: Always
              command: ["/sbin/init"]
              lifecycle:
                preStop:
                  exec:
                    command: ["/bin/sh", "-c", "systemctl stop kmods-via-containers@simple-kmod"]
              securityContext:
                privileged: true
            nodeSelector:
              node-role.kubernetes.io/worker: ""

   2. RBAC 규칙 및 데몬 세트를 생성합니다.

      $ oc create -f 1000-drivercontainer.yaml

5. 작업자 노드에서 pod가 실행된 후 lsmod가 있는 호스트 시스템에 simple_kmod 커널 모듈이 제대로 로드되었는지 확인합니다.

   1. pod가 실행 중인지 확인합니다.

      $ oc get pod -n simple-kmod-demo

      출력 예

      NAME                                 READY   STATUS      RESTARTS   AGE
      simple-kmod-driver-build-1-build     0/1     Completed   0          6m
      simple-kmod-driver-container-b22fd   1/1     Running     0          40s
      simple-kmod-driver-container-jz9vn   1/1     Running     0          40s
      simple-kmod-driver-container-p45cc   1/1     Running     0          40s

   2. 드라이버 컨테이너 Pod에서 lsmod 명령을 실행합니다.

      $ oc exec -it pod/simple-kmod-driver-container-p45cc -- lsmod | grep simple

      출력 예

      simple_procfs_kmod     16384  0
      simple_kmod            16384  0

절차

1. openshift-operators 네임스페이스에 SRO를 설치합니다.

   1. 다음 Subscription CR을 생성하고 YAML을 sro-sub.yaml 파일에 저장합니다.

      서브스크립션 CR의 예

      apiVersion: operators.coreos.com/v1alpha1
      kind: Subscription
      metadata:
        name: openshift-special-resource-operator
        namespace: openshift-operators
      spec:
        channel: "stable"
        installPlanApproval: Automatic
        name: openshift-special-resource-operator
        source: redhat-operators
        sourceNamespace: openshift-marketplace

   2. 다음 명령을 실행하여 서브스크립션 오브젝트를 생성합니다.

      $ oc create -f sro-sub.yaml

   3. openshift-operators 프로젝트로 전환합니다.

      $ oc project openshift-operators

절차

1. OpenShift Container Platform 웹 콘솔에 로그인합니다.

2. Special Resource Operator를 설치합니다.

   1. OpenShift Container Platform 웹 콘솔에서 Operator → OperatorHub를 클릭합니다.
   2. 사용 가능한 Operator 목록에서 Special Resource Operator를 선택한 다음 설치를 클릭합니다.
   3. Operator 설치 페이지에서 클러스터에서 특정 네임스페이스를 선택하고 이전 섹션에서 생성된 네임스페이스를 선택한 다음 설치를 클릭합니다.

1. Operator → 설치된 Operator 페이지로 이동합니다.

2. 특수 리소스 Operator 가 openshift-operators 프로젝트에 InstallSucceeded 상태로 나열되어 있는지 확인합니다.

   참고

   설치하는 동안 Operator는 실패 상태를 표시할 수 있습니다. 나중에 InstallSucceeded 메시지와 함께 설치에 성공하면 이 실패 메시지를 무시할 수 있습니다.

3. Operator가 설치된 것으로 나타나지 않으면 다음과 같이 추가 문제 해결을 수행합니다.

   1. Operator → 설치된 Operator 페이지로 이동하고 Operator 서브스크립션 및 설치 계획 탭의 상태에 장애나 오류가 있는지 검사합니다.
   2. 워크로드 → Pod 페이지로 이동하여 openshift-operators 프로젝트에서 Pod 로그를 확인합니다.

절차

1. simple-kmod SpecialResource 오브젝트를 생성하려면 이미지 스트림과 빌드 구성을 정의하여 이미지를 빌드하고, 컨테이너를 실행하도록 서비스 계정, 역할, 역할 바인딩 및 데몬 세트를 정의합니다. 커널 모듈을 로드할 수 있도록 권한 있는 보안 컨텍스트로 데몬 세트를 실행하려면 서비스 계정, 역할 및 역할 바인딩이 필요합니다.

   1. templates 디렉터리를 생성하고 이 디렉터리로 변경합니다.

      $ mkdir -p chart/simple-kmod-0.0.1/templates

      $ cd chart/simple-kmod-0.0.1/templates

   2. 이미지 스트림 및 빌드 구성에 대한 이 YAML 템플릿을 templates 디렉터리에 0000-buildconfig.yaml로 저장합니다.

      apiVersion: image.openshift.io/v1
      kind: ImageStream
      metadata:
        labels:
          app: {{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverContainer}} 1
        name: {{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverContainer}} 2
      spec: {}
      ---
      apiVersion: build.openshift.io/v1
      kind: BuildConfig
      metadata:
        labels:
          app: {{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverBuild}}  3
        name: {{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverBuild}} 4
        annotations:
          specialresource.openshift.io/wait: "true"
          specialresource.openshift.io/driver-container-vendor: simple-kmod
          specialresource.openshift.io/kernel-affine: "true"
      spec:
        nodeSelector:
          node-role.kubernetes.io/worker: ""
        runPolicy: "Serial"
        triggers:
          - type: "ConfigChange"
          - type: "ImageChange"
        source:
          git:
            ref: {{.Values.specialresource.spec.driverContainer.source.git.ref}}
            uri: {{.Values.specialresource.spec.driverContainer.source.git.uri}}
          type: Git
        strategy:
          dockerStrategy:
            dockerfilePath: Dockerfile.SRO
            buildArgs:
              - name: "IMAGE"
                value: {{ .Values.driverToolkitImage  }}
              {{- range $arg := .Values.buildArgs }}
              - name: {{ $arg.name }}
                value: {{ $arg.value }}
              {{- end }}
              - name: KVER
                value: {{ .Values.kernelFullVersion }}
        output:
          to:
            kind: ImageStreamTag
            name: {{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverContainer}}:v{{.Values.kernelFullVersion}} 5

      1 2 3 4 5

      {{.Values.specialresource.metadata.name}}과 같은 템플릿은 SpecialResource CR의 필드와 {{.Values.KernelFullVersion}}과 같은 Operator에 알려진 변수를 기반으로 SRO에 의해 채워집니다.

   3. templates 디렉터리에 설정된 RBAC 리소스 및 데몬에 대한 다음 YAML 템플릿을 1000-driver-container.yaml로 저장합니다.

      apiVersion: v1
      kind: ServiceAccount
      metadata:
        name: {{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverContainer}}
      ---
      apiVersion: rbac.authorization.k8s.io/v1
      kind: Role
      metadata:
        name: {{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverContainer}}
      rules:
      - apiGroups:
        - security.openshift.io
        resources:
        - securitycontextconstraints
        verbs:
        - use
        resourceNames:
        - privileged
      ---
      apiVersion: rbac.authorization.k8s.io/v1
      kind: RoleBinding
      metadata:
        name: {{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverContainer}}
      roleRef:
        apiGroup: rbac.authorization.k8s.io
        kind: Role
        name: {{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverContainer}}
      subjects:
      - kind: ServiceAccount
        name: {{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverContainer}}
        namespace: {{.Values.specialresource.spec.namespace}}
      ---
      apiVersion: apps/v1
      kind: DaemonSet
      metadata:
        labels:
          app: {{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverContainer}}
        name: {{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverContainer}}
        annotations:
          specialresource.openshift.io/wait: "true"
          specialresource.openshift.io/state: "driver-container"
          specialresource.openshift.io/driver-container-vendor: simple-kmod
          specialresource.openshift.io/kernel-affine: "true"
          specialresource.openshift.io/from-configmap: "true"
      spec:
        updateStrategy:
          type: OnDelete
        selector:
          matchLabels:
            app: {{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverContainer}}
        template:
          metadata:
            labels:
              app: {{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverContainer}}
          spec:
            priorityClassName: system-node-critical
            serviceAccount: {{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverContainer}}
            serviceAccountName: {{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverContainer}}
            containers:
            - image: image-registry.openshift-image-registry.svc:5000/{{.Values.specialresource.spec.namespace}}/{{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverContainer}}:v{{.Values.kernelFullVersion}}
              name: {{.Values.specialresource.metadata.name}}-{{.Values.groupName.driverContainer}}
              imagePullPolicy: Always
              command: ["/sbin/init"]
              lifecycle:
                preStop:
                  exec:
                    command: ["/bin/sh", "-c", "systemctl stop kmods-via-containers@{{.Values.specialresource.metadata.name}}"]
              securityContext:
                privileged: true
            nodeSelector:
              node-role.kubernetes.io/worker: ""
              feature.node.kubernetes.io/kernel-version.full: "{{.Values.KernelFullVersion}}"

   4. chart/simple-kmod-0.0.1 디렉터리로 변경합니다.

      $ cd ..

   5. 차트에 대한 다음 YAML을 chart/simple-kmod-0.0.1 디렉터리에 Chart.yaml로 저장합니다.

      apiVersion: v2
      name: simple-kmod
      description: Simple kmod will deploy a simple kmod driver-container
      icon: https://avatars.githubusercontent.com/u/55542927
      type: application
      version: 0.0.1
      appVersion: 1.0.0

2. chart 디렉토리에서 hhelm package 명령을 사용하여 차트를 생성합니다.

   $ helm package simple-kmod-0.0.1/

   출력 예

   Successfully packaged chart and saved it to: /data/<username>/git/<github_username>/special-resource-operator/yaml-for-docs/chart/simple-kmod-0.0.1/simple-kmod-0.0.1.tgz

3. 차트 파일을 저장할 구성 맵을 생성합니다.

   1. 구성 맵 파일의 디렉터리를 생성합니다.

      $ mkdir cm

   2. Helm 차트를 cm 디렉터리에 복사합니다.

      $ cp simple-kmod-0.0.1.tgz cm/simple-kmod-0.0.1.tgz

   3. Helm 차트가 포함된 Helm 리포지터리를 지정하는 인덱스 파일을 생성합니다.

      $ helm repo index cm --url=cm://simple-kmod/simple-kmod-chart

   4. Helm 차트에 정의된 오브젝트의 네임스페이스를 생성합니다.

      $ oc create namespace simple-kmod

   5. 구성 맵 오브젝트를 생성합니다.

      $ oc create cm simple-kmod-chart --from-file=cm/index.yaml --from-file=cm/simple-kmod-0.0.1.tgz -n simple-kmod

4. 구성 맵에서 생성한 Helm 차트를 사용하여 simple-kmod 오브젝트를 배포하려면 다음 SpecialResource 매니페스트를 사용합니다. 이 YAML을 simple-kmod-configmap.yaml로 저장합니다.

   apiVersion: sro.openshift.io/v1beta1
   kind: SpecialResource
   metadata:
     name: simple-kmod
   spec:
     #debug: true 1
     namespace: simple-kmod
     chart:
       name: simple-kmod
       version: 0.0.1
       repository:
         name: example
         url: cm://simple-kmod/simple-kmod-chart 2
     set:
       kind: Values
       apiVersion: sro.openshift.io/v1beta1
       kmodNames: ["simple-kmod", "simple-procfs-kmod"]
       buildArgs:
       - name: "KMODVER"
         value: "SRO"
     driverContainer:
       source:
         git:
           ref: "master"
           uri: "https://github.com/openshift-psap/kvc-simple-kmod.git"

   1

   선택 사항: #debug: true 행의 주석을 제거하여 Operator 로그에서 차트에 YAML 파일을 출력하고 로그가 생성되고 올바르게 템플릿되었는지 확인합니다.

   2

   spec.chart.repository.url 필드는 SRO에 구성 맵의 차트를 찾도록 지시합니다.

5. 명령줄에서 SpecialResource 파일을 만듭니다.

   $ oc create -f simple-kmod-configmap.yaml

1. oc get pods 명령을 사용하여 빌드 Pod의 상태를 표시합니다.

   $ oc get pods -n simple-kmod

   출력 예

   NAME                                                  READY   STATUS      RESTARTS   AGE
   simple-kmod-driver-build-12813789169ac0ee-1-build     0/1     Completed   0          7m12s
   simple-kmod-driver-container-12813789169ac0ee-mjsnh   1/1     Running     0          8m2s
   simple-kmod-driver-container-12813789169ac0ee-qtkff   1/1     Running     0          8m2s

2. oc logs 명령과 위의 oc get pods 명령에서 얻은 빌드 Pod 이름을 사용하여 simple-kmod 드라이버 컨테이너 이미지 빌드의 로그를 표시합니다.

   $ oc logs pod/simple-kmod-driver-build-12813789169ac0ee-1-build -n simple-kmod

3. simple-kmod 커널 모듈이 로드되었는지 확인하려면 위의 oc get pods 명령에서 반환된 드라이버 컨테이너 Pod 중 하나에서 lsmod 명령을 실행합니다.

   $ oc exec -n simple-kmod -it pod/simple-kmod-driver-container-12813789169ac0ee-mjsnh -- lsmod | grep simple

   출력 예

   simple_procfs_kmod     16384  0
   simple_kmod            16384  0

절차

1. 다음 명령을 실행하여 templates 디렉터리를 생성합니다.

   $ mkdir -p charts/acm-simple-kmod-0.0.1/templates

2. 다음 명령을 실행하여 templates 디렉터리로 변경합니다.

   $ cd charts/acm-simple-kmod-0.0.1/templates

3. BuildConfig,Policy 및 PlacementRule 리소스에 대한 템플릿 파일을 생성합니다.

   1. 이미지 스트림에 대한 이 YAML 템플릿을 저장하고 templates 디렉터리에 0001-buildconfig.yaml 로 .

      apiVersion: build.openshift.io/v1
      kind: BuildConfig
      metadata:
          labels:
              app: {{ printf "%s-%s" .Values.specialResourceModule.metadata.name .Values.kernelFullVersion | replace "." "-" | replace "_" "-" | trunc 63 }}
          name: {{ printf "%s-%s" .Values.specialResourceModule.metadata.name .Values.kernelFullVersion | replace "." "-" | replace "_" "-" | trunc 63 }}
          annotations:
      specialresource.openshift.io/wait: "true"
      spec:
          nodeSelector:
              node-role.kubernetes.io/worker: ""
          runPolicy: "Serial"
          triggers:
              - type: "ConfigChange"
              - type: "ImageChange"
          source:
          dockerfile: |
              FROM {{ .Values.driverToolkitImage  }} as builder
              WORKDIR /build/
              RUN git clone -b {{.Values.specialResourceModule.spec.set.git.ref}} {{.Values.specialResourceModule.spec.set.git.uri}}
              WORKDIR /build/simple-kmod
              RUN make all install KVER={{ .Values.kernelFullVersion }}
              FROM registry.redhat.io/ubi8/ubi-minimal
              RUN microdnf -y install kmod
              COPY --from=builder /etc/driver-toolkit-release.json /etc/
              COPY --from=builder /lib/modules/{{ .Values.kernelFullVersion }}/* /lib/modules/{{ .Values.kernelFullVersion }}/
          strategy:
              dockerStrategy:
                  dockerfilePath: Dockerfile.SRO
                  buildArgs:
                      - name: "IMAGE"
                        value: {{ .Values.driverToolkitImage  }}
                      {{- range $arg := .Values.buildArgs }}
                      - name: {{ $arg.name }}
                        value: {{ $arg.value }}
                      {{- end }}
                      - name: KVER
                        value: {{ .Values.kernelFullVersion }}
          output:
              to:
                  kind: DockerImage
                  name: {{.Values.registry}}/{{.Values.specialResourceModule.metadata.name}}-{{.Values.groupName.driverContainer}}:{{.Values.kernelFullVersion}}

   2. ACM 정책에 대한 이 YAML 템플릿을 templates 디렉터리에 0002-policy.yaml 로 저장합니다.

      apiVersion: policy.open-cluster-management.io/v1
      kind: Policy
      metadata:
          name: policy-{{.Values.specialResourceModule.metadata.name}}-ds
          annotations:
              policy.open-cluster-management.io/categories: CM Configuration Management
              policy.open-cluster-management.io/controls: CM-2 Baseline Configuration
              policy.open-cluster-management.io/standards: NIST-CSF
      spec:
          remediationAction: enforce
          disabled: false
          policy-templates:
              - objectDefinition:
                  apiVersion: policy.open-cluster-management.io/v1
                  kind: ConfigurationPolicy
                  metadata:
                      name: config-{{.Values.specialResourceModule.metadata.name}}-ds
                  spec:
                      remediationAction: enforce
                      severity: low
                      namespaceselector:
                          exclude:
                              - kube-*
                          include:
                              - '*'
                      object-templates:
                          - complianceType: musthave
                            objectDefinition:
                              apiVersion: v1
                              kind: Namespace
                              metadata:
                                  name: {{.Values.specialResourceModule.spec.namespace}}
                          - complianceType: mustonlyhave
                            objectDefinition:
                              apiVersion: v1
                              kind: ServiceAccount
                              metadata:
                                  name: {{.Values.specialResourceModule.metadata.name}}
                                  namespace: {{.Values.specialResourceModule.spec.namespace}}
                          - complianceType: mustonlyhave
                            objectDefinition:
                              apiVersion: rbac.authorization.k8s.io/v1
                              kind: Role
                              metadata:
                                  name: {{.Values.specialResourceModule.metadata.name}}
                                  namespace: {{.Values.specialResourceModule.spec.namespace}}
                              rules:
                              - apiGroups:
                                  - security.openshift.io
                                resources:
                                  - securitycontextconstraints
                                verbs:
                                  - use
                                resourceNames:
                                  - privileged
                          - complianceType: mustonlyhave
                            objectDefinition:
                              apiVersion: rbac.authorization.k8s.io/v1
                              kind: RoleBinding
                              metadata:
                                  name: {{.Values.specialResourceModule.metadata.name}}
                                  namespace: {{.Values.specialResourceModule.spec.namespace}}
                              roleRef:
                                  apiGroup: rbac.authorization.k8s.io
                                  kind: Role
                                  name: {{.Values.specialResourceModule.metadata.name}}
                              subjects:
                              - kind: ServiceAccount
                                name: {{.Values.specialResourceModule.metadata.name}}
                                namespace: {{.Values.specialResourceModule.spec.namespace}}
                          - complianceType: musthave
                            objectDefinition:
                              apiVersion: apps/v1
                              kind: DaemonSet
                              metadata:
                                  labels:
                                      app: {{ printf "%s-%s" .Values.specialResourceModule.metadata.name .Values.kernelFullVersion | replace "." "-" | replace "_" "-" | trunc 63 }}
                                  name: {{ printf "%s-%s" .Values.specialResourceModule.metadata.name .Values.kernelFullVersion | replace "." "-" | replace "_" "-" | trunc 63 }}
                                  namespace: {{.Values.specialResourceModule.spec.namespace}}
                              spec:
                                  updateStrategy:
                                      type: OnDelete
                                  selector:
                                      matchLabels:
                                          app: {{ printf "%s-%s" .Values.specialResourceModule.metadata.name .Values.kernelFullVersion | replace "." "-" | replace "_" "-" | trunc 63 }}
                                  template:
                                      metadata:
                                          labels:
                                              app: {{ printf "%s-%s" .Values.specialResourceModule.metadata.name .Values.kernelFullVersion | replace "." "-" | replace "_" "-" | trunc 63 }}
                                      spec:
                                          priorityClassName: system-node-critical
                                          serviceAccount: {{.Values.specialResourceModule.metadata.name}}
                                          serviceAccountName: {{.Values.specialResourceModule.metadata.name}}
                                          containers:
                                          - image: {{.Values.registry}}/{{.Values.specialResourceModule.metadata.name}}-{{.Values.groupName.driverContainer}}:{{.Values.kernelFullVersion}}
                                            name: {{.Values.specialResourceModule.metadata.name}}
                                            imagePullPolicy: Always
                                            command: [sleep, infinity]
                                            lifecycle:
                                              preStop:
                                                  exec:
                                                      command: ["modprobe", "-r", "-a" , "simple-kmod", "simple-procfs-kmod"]
                                            securityContext:
                                              privileged: true

   3. templates 디렉터리에 정책을 배치하기 위해 이 YAML 템플릿을 0003-policy.yaml 로 저장합니다.

      apiVersion: apps.open-cluster-management.io/v1
      kind: PlacementRule
      metadata:
          name: {{.Values.specialResourceModule.metadata.name}}-placement
      spec:
          clusterConditions:
          - status: "True"
            type: ManagedClusterConditionAvailable
          clusterSelector:
            matchExpressions:
            - key: name
              operator: NotIn
              values:
              - local-cluster
      ---
      apiVersion: policy.open-cluster-management.io/v1
      kind: PlacementBinding
      metadata:
          name: {{.Values.specialResourceModule.metadata.name}}-binding
      placementRef:
          apiGroup: apps.open-cluster-management.io
          kind: PlacementRule
          name: {{.Values.specialResourceModule.metadata.name}}-placement
      subjects:
          - apiGroup: policy.open-cluster-management.io
            kind: Policy
            name: policy-{{.Values.specialResourceModule.metadata.name}}-ds

   4. 다음 명령을 실행하여 charts/acm-simple-kmod-0.0.1 디렉토리로 변경합니다.

      cd ..

   5. 차트에 대한 다음 YAML 템플릿을 charts/acm-simple-kmod-0.0.1 디렉터리에 Chart.yaml 로 저장합니다.

      apiVersion: v2
      name: acm-simple-kmod
      description: Build ACM enabled simple-kmod driver with SpecialResourceOperator
      icon: https://avatars.githubusercontent.com/u/55542927
      type: application
      version: 0.0.1
      appVersion: 1.6.4

4. 차트 디렉터리에서 명령을 사용하여 차트를 만듭니다.

   $ helm package acm-simple-kmod-0.0.1/

   출력 예

   Successfully packaged chart and saved it to: <directory>/charts/acm-simple-kmod-0.0.1.tgz

5. 차트 파일을 저장할 구성 맵을 만듭니다.

   1. 다음 명령을 실행하여 구성 맵 파일의 디렉터리를 생성합니다.

      $ mkdir cm

   2. 다음 명령을 실행하여 Helm 차트를 cm 디렉터리에 복사합니다.

      $ cp acm-simple-kmod-0.0.1.tgz cm/acm-simple-kmod-0.0.1.tgz

   3. 다음 명령을 실행하여 Helm 차트가 포함된 Helm 리포지터리를 지정하는 인덱스 파일을 생성합니다.

      $ helm repo index cm --url=cm://acm-simple-kmod/acm-simple-kmod-chart

   4. 다음 명령을 실행하여 Helm 차트에 정의된 오브젝트의 네임스페이스를 생성합니다.

      $ oc create namespace acm-simple-kmod

   5. 다음 명령을 실행하여 구성 맵 오브젝트를 생성합니다.

      $ oc create cm acm-simple-kmod-chart --from-file=cm/index.yaml --from-file=cm/acm-simple-kmod-0.0.1.tgz -n acm-simple-kmod

6. 다음 SpecialResourceModule 매니페스트를 사용하여 구성 맵에서 만든 Helm 차트를 사용하여 simple-kmod 오브젝트를 배포합니다. 이 YAML 파일을 acm-simple-kmod.yaml 로 저장합니다.

   apiVersion: sro.openshift.io/v1beta1
   kind: SpecialResourceModule
   metadata:
       name: acm-simple-kmod
   spec:
       namespace: acm-simple-kmod
       chart:
           name: acm-simple-kmod
           version: 0.0.1
           repository:
               name: acm-simple-kmod
               url: cm://acm-simple-kmod/acm-simple-kmod-chart
       set:
           kind: Values
           apiVersion: sro.openshift.io/v1beta1
           buildArgs:
               - name: "KMODVER"
                 value: "SRO"
           registry: <your_registry>  1
           git:
               ref: master
               uri: https://github.com/openshift-psap/kvc-simple-kmod.git
       watch:
               - path: "$.metadata.labels.openshiftVersion"
                 apiVersion: cluster.open-cluster-management.io/v1
                 kind: ManagedCluster
                 name: spoke1

   1

   구성한 레지스트리의 URL을 지정합니다.

7. 다음 명령을 실행하여 특수 리소스 모듈을 생성합니다.

   $ oc apply -f charts/examples/acm-simple-kmod.yaml

검증

1. 다음 명령을 실행하여 빌드 Pod의 상태를 확인합니다.

   $ KUBECONFIG=~/hub/auth/kubeconfig oc get pod -n acm-simple-kmod

   출력 예

   NAME                                                   READY   STATUS      RESTARTS   AGE
   acm-simple-kmod-4-18-0-305-34-2-el8-4-x86-64-1-build   0/1     Completed   0          42m

2. 다음 명령을 실행하여 정책이 생성되었는지 확인합니다.

   $ KUBECONFIG=~/hub/auth/kubeconfig oc get placementrules,placementbindings,policies -n acm-simple-kmod

   출력 예

   NAME                                                                      AGE   REPLICAS
   placementrule.apps.open-cluster-management.io/acm-simple-kmod-placement   40m
   
   NAME                                                                         AGE
   placementbinding.policy.open-cluster-management.io/acm-simple-kmod-binding   40m
   
   NAME                                                                 REMEDIATION ACTION   COMPLIANCE STATE   AGE
   policy.policy.open-cluster-management.io/policy-acm-simple-kmod-ds   enforce              Compliant          40m

3. 다음 명령을 실행하여 리소스가 조정되었는지 확인합니다.

   $ KUBECONFIG=~/hub/auth/kubeconfig oc get specialresourcemodule acm-simple-kmod -o json | jq -r '.status'

   출력 예

   {
     "versions": {
       "quay.io/openshift-release-dev/ocp-v4.0-art-dev@sha256:6a3330ef5a178435721ff4efdde762261a9c55212e9b4534385e04037693fbe4": {
         "complete": true
       }
     }
   }

4. 다음 명령을 실행하여 리소스가 스포크에서 실행되고 있는지 확인합니다.

   $ KUBECONFIG=~/spoke1/kubeconfig oc get ds,pod -n acm-simple-kmod

   출력 예

   AME                                                          DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
   daemonset.apps/acm-simple-kmod-4-18-0-305-45-1-el8-4-x86-64   3         3         3       3            3           <none>          26m
   
   NAME                                                     READY   STATUS    RESTARTS   AGE
   pod/acm-simple-kmod-4-18-0-305-45-1-el8-4-x86-64-brw78   1/1     Running   0          26m
   pod/acm-simple-kmod-4-18-0-305-45-1-el8-4-x86-64-fqh5h   1/1     Running   0          26m
   pod/acm-simple-kmod-4-18-0-305-45-1-el8-4-x86-64-m9sfd   1/1     Running   0          26m

절차

1. NFD Operator의 네임스페이스를 생성합니다.

   1. openshift-nfd 네임스페이스를 정의하는 다음 Namespace CR(사용자 정의 리소스)을 생성하고 nfd-namespace.yaml 파일에 YAML을 저장합니다.

      apiVersion: v1
      kind: Namespace
      metadata:
        name: openshift-nfd

   2. 다음 명령을 실행하여 네임스페이스를 생성합니다.

      $ oc create -f nfd-namespace.yaml

2. 다음 오브젝트를 생성하여 이전 단계에서 생성한 네임스페이스에 NFD Operator를 설치합니다.

   1. 다음 OperatorGroup CR을 생성하고 해당 YAML을 nfd-operatorgroup.yaml 파일에 저장합니다.

      apiVersion: operators.coreos.com/v1
      kind: OperatorGroup
      metadata:
        generateName: openshift-nfd-
        name: openshift-nfd
        namespace: openshift-nfd
      spec:
        targetNamespaces:
        - openshift-nfd

   2. 다음 명령을 실행하여 OperatorGroup CR을 생성합니다.

      $ oc create -f nfd-operatorgroup.yaml

   3. 다음 Subscription CR을 생성하고 해당 YAML을 nfd-sub.yaml 파일에 저장합니다.

      서브스크립션의 예

      apiVersion: operators.coreos.com/v1alpha1
      kind: Subscription
      metadata:
        name: nfd
        namespace: openshift-nfd
      spec:
        channel: "stable"
        installPlanApproval: Automatic
        name: nfd
        source: redhat-operators
        sourceNamespace: openshift-marketplace

   4. 다음 명령을 실행하여 서브스크립션 오브젝트를 생성합니다.

      $ oc create -f nfd-sub.yaml

   5. openshift-nfd 프로젝트로 변경합니다.

      $ oc project openshift-nfd

절차

1. OpenShift Container Platform 웹 콘솔에서 Operator → OperatorHub를 클릭합니다.
2. 사용 가능한 Operator 목록에서 Node Feature Discovery를 선택한 다음 설치를 클릭합니다.
3. Operator 설치 페이지에서 클러스터의 특정 네임스페이스를 선택한 다음 설치를 클릭합니다. 네임스페이스가 생성되므로 생성할 필요가 없습니다.

1. Operator → 설치된 Operator 페이지로 이동합니다.

2. Node Feature Discovery가 openshift-nfd 프로젝트에 InstallSucceeded 상태로 나열되어 있는지 확인합니다.

   참고

   설치 중에 Operator는 실패 상태를 표시할 수 있습니다. 나중에 InstallSucceeded 메시지와 함께 설치에 성공하면 이 실패 메시지를 무시할 수 있습니다.

1. Operator → 설치된 Operator 페이지로 이동하고 Operator 서브스크립션 및 설치 계획 탭의 상태에 장애나 오류가 있는지 검사합니다.
2. Workloads → Pod 페이지로 이동하여 openshift-nfd 프로젝트에서 Pod 로그를 확인합니다.

절차

1. 다음 NodeEnatureDiscovery 사용자 정의 리소스(CR)를 생성한 다음 YAML을 NodefeatureatureDiscovery.yaml 파일에 저장합니다.

   apiVersion: nfd.openshift.io/v1
   kind: NodeFeatureDiscovery
   metadata:
     name: nfd-instance
     namespace: openshift-nfd
   spec:
     instance: "" # instance is empty by default
     topologyupdater: false # False by default
     operand:
       image: registry.redhat.io/openshift4/ose-node-feature-discovery:v4.11
       imagePullPolicy: Always
     workerConfig:
       configData: |
         core:
         #  labelWhiteList:
         #  noPublish: false
           sleepInterval: 60s
         #  sources: [all]
         #  klog:
         #    addDirHeader: false
         #    alsologtostderr: false
         #    logBacktraceAt:
         #    logtostderr: true
         #    skipHeaders: false
         #    stderrthreshold: 2
         #    v: 0
         #    vmodule:
         ##   NOTE: the following options are not dynamically run-time configurable
         ##         and require a nfd-worker restart to take effect after being changed
         #    logDir:
         #    logFile:
         #    logFileMaxSize: 1800
         #    skipLogHeaders: false
         sources:
           cpu:
             cpuid:
         #     NOTE: whitelist has priority over blacklist
               attributeBlacklist:
                 - "BMI1"
                 - "BMI2"
                 - "CLMUL"
                 - "CMOV"
                 - "CX16"
                 - "ERMS"
                 - "F16C"
                 - "HTT"
                 - "LZCNT"
                 - "MMX"
                 - "MMXEXT"
                 - "NX"
                 - "POPCNT"
                 - "RDRAND"
                 - "RDSEED"
                 - "RDTSCP"
                 - "SGX"
                 - "SSE"
                 - "SSE2"
                 - "SSE3"
                 - "SSE4.1"
                 - "SSE4.2"
                 - "SSSE3"
               attributeWhitelist:
           kernel:
             kconfigFile: "/path/to/kconfig"
             configOpts:
               - "NO_HZ"
               - "X86"
               - "DMI"
           pci:
             deviceClassWhitelist:
               - "0200"
               - "03"
               - "12"
             deviceLabelFields:
               - "class"
     customConfig:
       configData: |
             - name: "more.kernel.features"
               matchOn:
               - loadedKMod: ["example_kmod3"]

1. 다음 명령어를 실행하여 NodeFeatureDiscovery CR 인스턴스를 만듭니다.

   $ oc create -f NodeFeatureDiscovery.yaml

절차

1. Operator → 설치된 Operator 페이지로 이동합니다.
2. Node Feature Discovery를 찾고 제공된 APIs아래에 있는 상자를 확인합니다.
3. 인스턴스 만들기를 클릭합니다.
4. NodefeatureatureDiscovery CR의 값을 편집합니다.
5. 생성을 클릭합니다.