18.6. ZTP를 사용하여 단일 노드 OpenShift 클러스터 수동 설치

프로세스

1. 다음 명령을 실행하여 출력 폴더를 생성합니다.

   $ mkdir -p ./out

2. ztp-site-generate 컨테이너 이미지에서 argocd 디렉터리를 내보냅니다.

   $ podman run --log-driver=none --rm registry.redhat.io/openshift4/ztp-site-generate-rhel8:v4.14 extract /home/ztp --tar | tar x -C ./out

   ./out 디렉터리에는 out/argocd/example/ 폴더에 PolicyGenTemplate 및 SiteConfig CR이 있습니다.

   출력 예

   out
    └── argocd
         └── example
              ├── policygentemplates
              │     ├── common-ranGen.yaml
              │     ├── example-sno-site.yaml
              │     ├── group-du-sno-ranGen.yaml
              │     ├── group-du-sno-validator-ranGen.yaml
              │     ├── kustomization.yaml
              │     └── ns.yaml
              └── siteconfig
                     ├── example-sno.yaml
                     ├── KlusterletAddonConfigOverride.yaml
                     └── kustomization.yaml

3. 사이트 설치 CR의 출력 폴더를 생성합니다.

   $ mkdir -p ./site-install

4. 설치할 클러스터 유형에 대한 SiteConfig CR 예제를 수정합니다. example-sno.yaml 을 site-1-sno.yaml 에 복사하고 설치할 사이트 및 베어 메탈 호스트의 세부 정보와 일치하도록 CR을 수정합니다. 예를 들면 다음과 같습니다.

   # example-node1-bmh-secret & assisted-deployment-pull-secret need to be created under same namespace example-sno
   ---
   apiVersion: ran.openshift.io/v1
   kind: SiteConfig
   metadata:
     name: "example-sno"
     namespace: "example-sno"
   spec:
     baseDomain: "example.com"
     pullSecretRef:
       name: "assisted-deployment-pull-secret"
     clusterImageSetNameRef: "openshift-4.10"
     sshPublicKey: "ssh-rsa AAAA..."
     clusters:
     - clusterName: "example-sno"
       networkType: "OVNKubernetes"
       # installConfigOverrides is a generic way of passing install-config
       # parameters through the siteConfig.  The 'capabilities' field configures
       # the composable openshift feature.  In this 'capabilities' setting, we
       # remove all but the marketplace component from the optional set of
       # components.
       # Notes:
       # - OperatorLifecycleManager is needed for 4.15 and later
       # - NodeTuning is needed for 4.13 and later, not for 4.12 and earlier
       installConfigOverrides: |
         {
           "capabilities": {
             "baselineCapabilitySet": "None",
             "additionalEnabledCapabilities": [
               "NodeTuning",
               "OperatorLifecycleManager"
             ]
           }
         }
       # It is strongly recommended to include crun manifests as part of the additional install-time manifests for 4.13+.
       # The crun manifests can be obtained from source-crs/optional-extra-manifest/ and added to the git repo ie.sno-extra-manifest.
       # extraManifestPath: sno-extra-manifest
       clusterLabels:
         # These example cluster labels correspond to the bindingRules in the PolicyGenTemplate examples
         du-profile: "latest"
         # These example cluster labels correspond to the bindingRules in the PolicyGenTemplate examples in ../policygentemplates:
         # ../policygentemplates/common-ranGen.yaml will apply to all clusters with 'common: true'
         common: true
         # ../policygentemplates/group-du-sno-ranGen.yaml will apply to all clusters with 'group-du-sno: ""'
         group-du-sno: ""
         # ../policygentemplates/example-sno-site.yaml will apply to all clusters with 'sites: "example-sno"'
         # Normally this should match or contain the cluster name so it only applies to a single cluster
         sites : "example-sno"
       clusterNetwork:
         - cidr: 1001:1::/48
           hostPrefix: 64
       machineNetwork:
         - cidr: 1111:2222:3333:4444::/64
       serviceNetwork:
         - 1001:2::/112
       additionalNTPSources:
         - 1111:2222:3333:4444::2
       # Initiates the cluster for workload partitioning. Setting specific reserved/isolated CPUSets is done via PolicyTemplate
       # please see Workload Partitioning Feature for a complete guide.
       cpuPartitioningMode: AllNodes
       # Optionally; This can be used to override the KlusterletAddonConfig that is created for this cluster:
       #crTemplates:
       #  KlusterletAddonConfig: "KlusterletAddonConfigOverride.yaml"
       nodes:
         - hostName: "example-node1.example.com"
           role: "master"
           # Optionally; This can be used to configure desired BIOS setting on a host:
           #biosConfigRef:
           #  filePath: "example-hw.profile"
           bmcAddress: "idrac-virtualmedia+https://[1111:2222:3333:4444::bbbb:1]/redfish/v1/Systems/System.Embedded.1"
           bmcCredentialsName:
             name: "example-node1-bmh-secret"
           bootMACAddress: "AA:BB:CC:DD:EE:11"
           # Use UEFISecureBoot to enable secure boot
           bootMode: "UEFI"
           rootDeviceHints:
             deviceName: "/dev/disk/by-path/pci-0000:01:00.0-scsi-0:2:0:0"
           # disk partition at `/var/lib/containers` with ignitionConfigOverride. Some values must be updated. See DiskPartitionContainer.md for more details
           ignitionConfigOverride: |
              {
               "ignition": {
                 "version": "3.2.0"
               },
               "storage": {
                 "disks": [
                   {
                     "device": "/dev/disk/by-path/pci-0000:01:00.0-scsi-0:2:0:0",
                     "partitions": [
                       {
                        "label": "var-lib-containers",
                        "sizeMiB": 0,
                        "startMiB": 250000
                     }
                 ],
                 "wipeTable": false
                }
              ],
               "filesystems": [
                 {
                  "device": "/dev/disk/by-partlabel/var-lib-containers",
                  "format": "xfs",
                  "mountOptions": [
                    "defaults",
                    "prjquota"
                   ],
                   "path": "/var/lib/containers",
                   "wipeFilesystem": true
                  }
                ]
              },
              "systemd": {
                "units": [
                  {
                   "contents": "# Generated by Butane\n[Unit]\nRequires=systemd-fsck@dev-disk-by\\x2dpartlabel-var\\x2dlib\\x2dcontainers.service\nAfter=systemd-fsck@dev-disk-by\\x2dpartlabel-var\\x2dlib\\x2dcontainers.service\n\n[Mount]\nWhere=/var/lib/containers\nWhat=/dev/disk/by-partlabel/var-lib-containers\nType=xfs\nOptions=defaults,prjquota\n\n[Install]\nRequiredBy=local-fs.target",
                   "enabled": true,
                   "name": "var-lib-containers.mount"
                  }
                 ]
               }
              }
           nodeNetwork:
             interfaces:
               - name: eno1
                 macAddress: "AA:BB:CC:DD:EE:11"
             config:
               interfaces:
                 - name: eno1
                   type: ethernet
                   state: up
                   ipv4:
                     enabled: false
                   ipv6:
                     enabled: true
                     address:
                     # For SNO sites with static IP addresses, the node-specific,
                     # API and Ingress IPs should all be the same and configured on
                     # the interface
                     - ip: 1111:2222:3333:4444::aaaa:1
                       prefix-length: 64
               dns-resolver:
                 config:
                   search:
                   - example.com
                   server:
                   - 1111:2222:3333:4444::2
               routes:
                 config:
                 - destination: ::/0
                   next-hop-interface: eno1
                   next-hop-address: 1111:2222:3333:4444::1
                   table-id: 254

   참고

   ztp-site-generate 컨테이너의 out/extra-manifest 디렉터리에서 참조 CR 구성 파일을 추출하면 extraManifests.searchPaths 를 사용하여 해당 파일이 포함된 git 디렉터리의 경로를 포함할 수 있습니다. 그러면 GitOps ZTP 파이프라인에서 클러스터 설치 중에 해당 CR 파일을 적용할 수 있습니다. searchPaths 디렉터리를 구성하면 GitOps ZTP 파이프라인에서 사이트를 설치하는 동안 ztp-site-generate 컨테이너에서 매니페스트를 가져오지 않습니다.

5. 다음 명령을 실행하여 수정된 SiteConfig CR site-1-sno.yaml 을 처리하여 0일 설치 CR을 생성합니다.

   $ podman run -it --rm -v `pwd`/out/argocd/example/siteconfig:/resources:Z -v `pwd`/site-install:/output:Z,U registry.redhat.io/openshift4/ztp-site-generate-rhel8:v4.14 generator install site-1-sno.yaml /output

   출력 예

   site-install
   └── site-1-sno
       ├── site-1_agentclusterinstall_example-sno.yaml
       ├── site-1-sno_baremetalhost_example-node1.example.com.yaml
       ├── site-1-sno_clusterdeployment_example-sno.yaml
       ├── site-1-sno_configmap_example-sno.yaml
       ├── site-1-sno_infraenv_example-sno.yaml
       ├── site-1-sno_klusterletaddonconfig_example-sno.yaml
       ├── site-1-sno_machineconfig_02-master-workload-partitioning.yaml
       ├── site-1-sno_machineconfig_predefined-extra-manifests-master.yaml
       ├── site-1-sno_machineconfig_predefined-extra-manifests-worker.yaml
       ├── site-1-sno_managedcluster_example-sno.yaml
       ├── site-1-sno_namespace_example-sno.yaml
       └── site-1-sno_nmstateconfig_example-node1.example.com.yaml

6. 선택 사항: -E 옵션으로 참조 SiteConfig CR을 처리하여 특정 클러스터 유형에 대한 Day 0 MachineConfig 설치 CR만 생성합니다. 예를 들어 다음 명령을 실행합니다.

   1. MachineConfig CR의 출력 폴더를 생성합니다.

      $ mkdir -p ./site-machineconfig

   2. MachineConfig 설치 CR을 생성합니다.

      $ podman run -it --rm -v `pwd`/out/argocd/example/siteconfig:/resources:Z -v `pwd`/site-machineconfig:/output:Z,U registry.redhat.io/openshift4/ztp-site-generate-rhel8:v4.14 generator install -E site-1-sno.yaml /output

      출력 예

      site-machineconfig
      └── site-1-sno
          ├── site-1-sno_machineconfig_02-master-workload-partitioning.yaml
          ├── site-1-sno_machineconfig_predefined-extra-manifests-master.yaml
          └── site-1-sno_machineconfig_predefined-extra-manifests-worker.yaml

7. 이전 단계의 PolicyGenTemplate CR 참조를 사용하여 Day 2 구성 CR을 생성하고 내보냅니다. 다음 명령을 실행합니다.

   1. Day 2 CR의 출력 폴더를 생성합니다.

      $ mkdir -p ./ref

   2. Day 2 구성 CR을 생성하고 내보냅니다.

      $ podman run -it --rm -v `pwd`/out/argocd/example/policygentemplates:/resources:Z -v `pwd`/ref:/output:Z,U registry.redhat.io/openshift4/ztp-site-generate-rhel8:v4.14 generator config -N . /output

      이 명령은 단일 노드 OpenShift, 3-노드 클러스터, ./ref 폴더에 표준 클러스터를 위한 예제 그룹 및 사이트별 PolicyGenTemplate CR을 생성합니다.

      출력 예

      ref
       └── customResource
            ├── common
            ├── example-multinode-site
            ├── example-sno
            ├── group-du-3node
            ├── group-du-3node-validator
            │    └── Multiple-validatorCRs
            ├── group-du-sno
            ├── group-du-sno-validator
            ├── group-du-standard
            └── group-du-standard-validator
                 └── Multiple-validatorCRs

8. 생성된 CR을 클러스터를 설치하는 데 사용하는 CR의 기반으로 사용합니다. "단일 관리 클러스터 설치"에 설명된 대로 hub 클러스터에 설치 CR을 적용합니다. 클러스터 설치가 완료된 후 구성 CR을 클러스터에 적용할 수 있습니다.

프로세스

1. OpenShift 및 모든 추가 기능 클러스터 Operator 설치에 필요한 호스트 BMC(Baseboard Management Controller)에 대한 인증 정보와 풀 시크릿을 포함하는 YAML 시크릿 파일을 생성합니다.

   1. 다음 YAML을 example-sno-secret.yaml 파일로 저장합니다.

      apiVersion: v1
      kind: Secret
      metadata:
        name: example-sno-bmc-secret
        namespace: example-sno 1
      data: 2
        password: <base64_password>
        username: <base64_username>
      type: Opaque
      ---
      apiVersion: v1
      kind: Secret
      metadata:
        name: pull-secret
        namespace: example-sno  3
      data:
        .dockerconfigjson: <pull_secret> 4
      type: kubernetes.io/dockerconfigjson

      1

      관련 SiteConfig CR에 구성된 네임스페이스와 일치해야 합니다.

      2

      암호 및 사용자이름에 대한 base64로 인코딩된 값

      3

      관련 SiteConfig CR에 구성된 네임스페이스와 일치해야 합니다.

      4

      base64로 인코딩된 풀 시크릿

2. 클러스터를 설치하는 데 사용하는 kustomization.yaml 파일에 example-sno-secret.yaml 에 상대 경로를 추가합니다.

프로세스

1. InfraEnv CR에서 spec.kernelArguments 사양을 편집하여 커널 인수를 구성합니다.

1. 대상 호스트를 사용하여 SSH 세션을 시작합니다.

   $ ssh -i /path/to/privatekey core@<host_name>

2. 다음 명령을 사용하여 시스템의 커널 인수를 확인합니다.

   $ cat /proc/cmdline

프로세스

1. 배포할 각 특정 클러스터 버전(예: clusterImageSet-4.14.yaml )에 대한 ClusterImageSet 을 생성합니다. ClusterImageSet 의 형식은 다음과 같습니다.

   apiVersion: hive.openshift.io/v1
   kind: ClusterImageSet
   metadata:
     name: openshift-4.14.0 1
   spec:
      releaseImage: quay.io/openshift-release-dev/ocp-release:4.14.0-x86_64 2

   1

   배포하려는 설명 버전입니다.

   2

   배포할 releaseImage 를 지정하고 운영 체제 이미지 버전을 결정합니다. 검색 ISO는 releaseImage 에서 설정한 이미지 버전 또는 정확한 버전을 사용할 수 없는 경우 최신 버전을 기반으로 합니다.

2. clusterImageSet CR을 적용합니다.

   $ oc apply -f clusterImageSet-4.14.yaml

3. cluster-namespace.yaml 파일에 Namespace CR을 생성합니다.

   apiVersion: v1
   kind: Namespace
   metadata:
        name: <cluster_name> 1
        labels:
           name: <cluster_name> 2

   1 2

   프로비저닝할 관리 클러스터의 이름입니다.

4. 다음 명령을 실행하여 네임스페이스 CR을 적용합니다.

   $ oc apply -f cluster-namespace.yaml

5. ztp-site-generate 컨테이너에서 추출하고 요구 사항을 충족하도록 사용자 지정된 생성된 day-0 CR을 적용합니다.

   $ oc apply -R ./site-install/site-sno-1

프로세스

1. 관리 클러스터의 상태를 확인합니다.

   $ oc get managedcluster

   true 는 관리 클러스터가 준비되었음을 나타냅니다.

2. 에이전트 상태를 확인합니다.

   $ oc get agent -n <cluster_name>

3. describe 명령을 사용하여 에이전트의 상태에 대한 심층적인 설명을 제공합니다. 알 수 있는 상태에는 BackendError,InputError,ValidationsFailing,InstallationFailed, AgentIConnected 가 포함됩니다. 이러한 상태는 Agent 및 AgentClusterInstall 사용자 정의 리소스와 관련이 있습니다.

   $ oc describe agent -n <cluster_name>

4. 클러스터 프로비저닝 상태를 확인합니다.

   $ oc get agentclusterinstall -n <cluster_name>

5. describe 명령을 사용하여 클러스터 프로비저닝 상태에 대한 심층적인 설명을 제공합니다.

   $ oc describe agentclusterinstall -n <cluster_name>

6. 관리 클러스터의 애드온 서비스의 상태를 확인합니다.

   $ oc get managedclusteraddon -n <cluster_name>

7. 관리 클러스터에 대한 kubeconfig 파일의 인증 정보를 검색합니다.

   $ oc get secret -n <cluster_name> <cluster_name>-admin-kubeconfig -o jsonpath={.data.kubeconfig} | base64 -d > <directory>/<cluster_name>-kubeconfig

프로세스

1. 관리 클러스터의 상태를 확인합니다.

   $ oc get managedcluster

   출력 예

   NAME            HUB ACCEPTED   MANAGED CLUSTER URLS   JOINED   AVAILABLE   AGE
   SNO-cluster     true                                   True     True      2d19h

   AVAILABLE 열의 상태가 True 이면 관리 클러스터가 허브에 의해 관리되고 있습니다.

   AVAILABLE 열의 상태가 Unknown 인 경우 관리 클러스터는 허브에 의해 관리되지 않습니다. 자세한 정보를 얻으려면 다음 단계를 계속 확인하십시오.

2. AgentClusterInstall 설치 상태를 확인합니다.

   $ oc get clusterdeployment -n <cluster_name>

   출력 예

   NAME        PLATFORM            REGION   CLUSTERTYPE   INSTALLED    INFRAID    VERSION  POWERSTATE AGE
   Sno0026    agent-baremetal                               false                          Initialized
   2d14h

   INSTALLED 열의 상태가 false 이면 설치에 실패했습니다.

3. 설치에 실패한 경우 다음 명령을 입력하여 AgentClusterInstall 리소스의 상태를 검토합니다.

   $ oc describe agentclusterinstall -n <cluster_name> <cluster_name>

4. 오류를 해결하고 클러스터를 재설정합니다.

   1. 클러스터의 관리 클러스터 리소스를 제거합니다.

      $ oc delete managedcluster <cluster_name>

   2. 클러스터의 네임스페이스를 제거합니다.

      $ oc delete namespace <cluster_name>

      이렇게 하면 이 클러스터에 대해 생성된 네임스페이스 범위 사용자 정의 리소스가 모두 삭제됩니다. 계속하기 전에 ManagedCluster CR 삭제가 완료될 때까지 기다려야 합니다.

   3. 관리 클러스터에 대한 사용자 정의 리소스를 다시 생성합니다.