외부 모드에서 OpenShift Data Foundation 배포

절차

1. OpenShift 웹 콘솔에 로그인합니다.
2. Operators → OperatorHub 를 클릭합니다.
3. OpenShift Data Foundation 을 키워드로 필터링 상자에 스크롤하여 OpenShift Data Foundation Operator를 찾습니다.
4. 설치를 클릭합니다.

5. Operator 설치 페이지에서 다음 옵션을 설정합니다.

   1. Channel을 stable-4.9 로 업데이트합니다.
   2. 클러스터의 특정 네임스페이스 로 설치 모드.
   3. 설치된 Namespace를 Operator 권장 네임스페이스 openshift-storage. 네임스페이스 openshift-storage 가 없으면 Operator 설치 중에 생성됩니다.

   4. 승인 전략을 자동 또는 수동으로 선택합니다.

      자동 업데이트를 선택하면 OLM(Operator Lifecycle Manager)은 개입 없이 Operator의 실행 중인 인스턴스를 자동으로 업그레이드합니다.

      수동 업데이트를 선택하면 OLM에서 업데이트 요청을 생성합니다. 클러스터 관리자는 Operator를 최신 버전으로 업데이트하기 위해 해당 업데이트 요청을 수동으로 승인해야 합니다.

   5. Console 플러그인에 대해 Enable 옵션이 선택되어 있는지 확인합니다.
   6. 설치를 클릭합니다.

절차

1. Operator → 설치된 Operator를 클릭하여 설치된 모든 Operator를 확인합니다.

   선택한 프로젝트 가 openshift-storage 인지 확인합니다.

2. OpenShift Data Foundation 을 클릭한 다음 스토리지 시스템 생성을 클릭합니다.

3. 백업 스토리지 페이지에서 다음 옵션을 선택합니다.

   1. 사용 가능한 옵션에서 외부 스토리지 플랫폼 연결을 선택합니다.
   2. Red Hat Ceph Storage for Storage 플랫폼을 선택합니다.
   3. 다음을 클릭합니다.

4. 연결 세부 정보 페이지에서 필요한 정보를 제공합니다.

   1. 다운로드 스크립트 링크를 클릭하여 Ceph 클러스터 세부 정보를 추출하기 위해 python 스크립트를 다운로드합니다.

   2. RHCS(Red Hat Ceph Storage) 클러스터 세부 정보를 추출하려면 RHCS 관리자에게 관리자 키가 있는 Red Hat Ceph Storage 노드에서 다운로드한 python 스크립트를 실행하십시오.

      1. RHCS 노드에서 다음 명령을 실행하여 사용 가능한 인수 목록을 확인합니다.

         # python3 ceph-external-cluster-details-exporter.py --help

         중요

         Red Hat Ceph Storage 4.x 클러스터가 Red Hat Enterprise Linux 7.x(RHEL 7.x) 클러스터에 배포된 경우 python 3 대신 python을 사용합니다.

         참고

         MON 컨테이너(컨테이너화된 배포) 또는 MON 노드(rpm 배포) 내부에서 스크립트를 실행할 수도 있습니다.

      2. RHCS 클러스터에서 외부 클러스터 세부 정보를 검색하려면 다음 명령을 실행합니다.

         # python3 ceph-external-cluster-details-exporter.py \
         --rbd-data-pool-name <rbd block pool name>  [optional arguments]

         예를 들면 다음과 같습니다.

         # python3 ceph-external-cluster-details-exporter.py --rbd-data-pool-name ceph-rbd --monitoring-endpoint xxx.xxx.xxx.xxx --monitoring-endpoint-port xxxx --rgw-endpoint xxx.xxx.xxx.xxx:xxxx --run-as-user client.ocs

         이 예에서, In this example,

         --rbd-data-pool-name

         OpenShift Data Foundation에서 블록 스토리지를 제공하는 데 사용되는 필수 매개 변수입니다.

         --rgw-endpoint

         선택적 매개변수: OpenShift Data Foundation용 Ceph Rados Gateway를 통해 오브젝트 스토리지를 프로비저닝해야 하는 경우에만 제공해야 합니다. 다음과 같은 형식으로 끝점을 제공합니다. <ip_address>:<port>

         --monitoring-endpoint

         은 선택 사항입니다. OpenShift Container Platform 클러스터에서 연결할 수 있는 활성 및 대기 mgrs의 쉼표로 구분된 IP 주소 목록을 허용합니다. 제공되지 않으면 값이 자동으로 채워집니다.

         --monitoring-endpoint-port

         이는 선택 사항입니다. --monitoring-endpoint 에서 지정한 ceph-mgr Prometheus 내보내기와 연결된 포트입니다. 제공되지 않으면 값이 자동으로 채워집니다.

         --run-as-user

         이는 스크립트에서 생성된 Ceph 사용자의 이름을 제공하는 데 사용되는 선택적 매개 변수입니다. 이 매개변수를 지정하지 않으면 기본 사용자 이름 client.healthchecker 가 생성됩니다. 새 사용자에 대한 권한은 다음과 같이 설정됩니다.

         • caps: [mgr] allow command config
         • caps: [mon] allow r, allow command quorum_status, allow command version

         • caps: [osd] allow rwx pool=RGW_POOL_PREFIX_PREFIX.rgw. root, allow rw pool= .rgw.root , allow rw pool=RGW_POOL_PREFIX.rgw.control.log.log. allow x pool=RGW_POOL_PREFIX.rgw.buckets.index

           python 스크립트를 사용하여 생성된 JSON 출력 예:

           [{"name": "rook-ceph-mon-endpoints", "kind": "ConfigMap", "data": {"data": "xxx.xxx.xxx.xxx:xxxx", "maxMonId": "0", "mapping": "{}"}}, {"name": "rook-ceph-mon", "kind": "Secret", "data": {"admin-secret": "admin-secret", "fsid": "<fs-id>", "mon-secret": "mon-secret"}}, {"name": "rook-ceph-operator-creds", "kind": "Secret", "data": {"userID": "<user-id>", "userKey": "<user-key>"}}, {"name": "rook-csi-rbd-node", "kind": "Secret", "data": {"userID": "csi-rbd-node", "userKey": "<user-key>"}}, {"name": "ceph-rbd", "kind": "StorageClass", "data": {"pool": "<pool>"}}, {"name": "monitoring-endpoint", "kind": "CephCluster", "data": {"MonitoringEndpoint": "xxx.xxx.xxx.xxx", "MonitoringPort": "xxxx"}}, {"name": "rook-ceph-dashboard-link", "kind": "Secret", "data": {"userID": "ceph-dashboard-link", "userKey": "<user-key>"}}, {"name": "rook-csi-rbd-provisioner", "kind": "Secret", "data": {"userID": "csi-rbd-provisioner", "userKey": "<user-key>"}}, {"name": "rook-csi-cephfs-provisioner", "kind": "Secret", "data": {"adminID": "csi-cephfs-provisioner", "adminKey": "<admin-key>"}}, {"name": "rook-csi-cephfs-node", "kind": "Secret", "data": {"adminID": "csi-cephfs-node", "adminKey": "<admin-key>"}}, {"name": "cephfs", "kind": "StorageClass", "data": {"fsName": "cephfs", "pool": "cephfs_data"}}, {"name": "ceph-rgw", "kind": "StorageClass", "data": {"endpoint": "xxx.xxx.xxx.xxx:xxxx", "poolPrefix": "default"}}, {"name": "rgw-admin-ops-user", "kind": "Secret", "data": {"accessKey": "<access-key>", "secretKey": "<secret-key>"}}]

      3. .json 확장자를 사용하여 JSON 출력을 파일에 저장합니다.

         참고

         OpenShift Data Foundation이 원활하게 작동하려면 JSON 파일을 사용하여 업로드할 매개 변수(RGW 끝점, CephFS 세부 정보, RBD 풀 등)가 스토리지 클러스터 생성 후 RHCS 외부 클러스터에서 변경되지 않은 상태로 남아 있는지 확인합니다.

   3. 찾아보기 를 클릭하여 JSON 파일을 선택하고 업로드합니다.

      JSON 파일의 내용은 텍스트 상자에 채워져 표시됩니다.

   4. 다음을클릭합니다.

      다음 버튼은 .json 파일을 업로드한 후에만 활성화됩니다.

5. 검토 및 생성 페이지에서 모든 세부 정보가 올바른지 확인합니다.

   • 구성 설정을 수정하려면 뒤로 이동하여 이전 구성 페이지로 돌아갑니다.
6. Create StorageSystem 을 클릭합니다.

1. OpenShift 웹 콘솔에서 설치된 Operator → OpenShift Data Foundation → 스토리지 시스템 → ocs-external-storagecluster-storagesystem → Resources 로 이동합니다.
2. Status of StorageCluster 가 Ready 이고 녹색 눈금이 있는지 확인합니다.
3. OpenShift Data Foundation, pods 및 StorageClass가 성공적으로 설치되었는지 확인하려면 외부 Ceph 스토리지 시스템의 외부 모드 OpenShift Data Foundation 설치 확인 을 참조하십시오.

절차

1. OpenShift 웹 콘솔에 로그인합니다.
2. Operators → OperatorHub 를 클릭합니다.
3. OpenShift Data Foundation 을 키워드로 필터링 상자에 스크롤하여 OpenShift Data Foundation Operator를 찾습니다.
4. 설치를 클릭합니다.

5. Operator 설치 페이지에서 다음 옵션을 설정합니다.

   1. Channel을 stable-4.9 로 업데이트합니다.
   2. 클러스터의 특정 네임스페이스 로 설치 모드.
   3. 설치된 Namespace를 Operator 권장 네임스페이스 openshift-storage. 네임스페이스 openshift-storage 가 없으면 Operator 설치 중에 생성됩니다.

   4. 승인 전략을 자동 또는 수동으로 선택합니다.

      자동 업데이트를 선택하면 OLM(Operator Lifecycle Manager)은 개입 없이 Operator의 실행 중인 인스턴스를 자동으로 업그레이드합니다.

      수동 업데이트를 선택하면 OLM에서 업데이트 요청을 생성합니다. 클러스터 관리자는 Operator를 최신 버전으로 업데이트하기 위해 해당 업데이트 요청을 수동으로 승인해야 합니다.

   5. Console 플러그인에 대해 Enable 옵션이 선택되어 있는지 확인합니다.
   6. 설치를 클릭합니다.

절차

1. OpenShift 웹 콘솔에서 Operator → 설치된 Operator를 클릭하여 설치된 모든 Operator 를 확인합니다.

   선택한 프로젝트 가 openshift-storage 인지 확인합니다.

2. OpenShift Data Foundation을 클릭한 다음 스토리지 시스템 생성을 클릭합니다.

3. 백업 스토리지 페이지에서 다음 옵션을 선택합니다.

   1. 사용 가능한 옵션에서 외부 스토리지 플랫폼 연결을 선택합니다.
   2. 스토리지 플랫폼 목록에서 IBM FlashSystem Storage 를 선택합니다.
   3. 다음을 클릭합니다.

4. 스토리지 클래스 생성 페이지에서 다음 정보를 제공합니다.

   1. 스토리지 클래스의 이름을 입력합니다.

      블록 스토리지 영구 볼륨을 생성할 때 최상의 성능을 위해 스토리지 클래스 <storage_class_name>을 선택합니다. 스토리지 클래스는 FlashSystem에 대한 직접 I/O 경로를 허용합니다.

   2. IBM FlashSystem 연결에 대한 다음 세부 정보를 입력합니다.

      • IP 주소
      • 사용자 이름
      • 암호
      • 풀 이름
   3. 볼륨 모드 의 두께 또는 thin 을 선택합니다.
   4. 다음을 클릭합니다.

5. 용량 및 노드 페이지에서 필요한 세부 정보를 제공합니다.

   1. 요청된 용량 값을 선택합니다.

      사용 가능한 옵션은 0.5TiB TiB,2 TiB 및 4TiB 입니다. 요청된 용량이 인프라 스토리지 클래스에 동적으로 할당됩니다.

   2. 세 개 이상의 영역에서 노드를 세 개 이상 선택합니다.

      노드당 14개 이상의 CPU 및 34GiB RAM으로 시작하는 것이 좋습니다. 선택한 노드가 집계된 30 개의 CPU 및 72GiB RAM의 OpenShift Data Foundation 클러스터 요구 사항과 일치하지 않으면 최소 클러스터가 배포됩니다. 최소 노드 요구 사항은 계획 가이드의 리소스 요구 사항 섹션을 참조하십시오.

   3. 다음을 클릭합니다.

6. 선택 사항: 보안 및 네트워크 페이지에서 필요한 세부 정보를 제공합니다.

   1. 암호화를 활성화하려면 블록 및 파일 스토리지에 데이터 암호화 사용을 선택합니다.

   2. 하나 또는 둘 다 암호화 수준을 선택합니다.

      • 전체 클러스터 (블록 및 파일)를 암호화 하는 클러스터 전체 암호화
      • 암호화가 활성화된 스토리지 클래스를 사용하여 암호화된 영구 볼륨(블록만 해당)을 생성하는 StorageClass 암호화입니다.

   3. 외부 키 관리 서비스에 연결 확인란을 선택합니다. 이는 클러스터 전체 암호화의 경우 선택 사항입니다.

      1. Key Management Service Provider는 기본적으로 Vault로 설정됩니다.
      2. Vault 서비스 이름, Vault 서버 호스트 주소('https://<hostname 또는 ip>), 포트 번호 및 토큰을 입력합니다.

   4. 고급 설정을 확장하여 Vault 구성에 따라 추가 설정 및 인증서 세부 정보를 입력합니다.

      1. OpenShift Data Foundation 전용 및 고유한 백엔드 경로에 키 값 시크릿 경로를 입력합니다.
      2. 선택 사항: TLS 서버 이름 및 Vault Enterprise Namespace를 입력합니다.
      3. 각 PEM 인코딩 인증서 파일을 업로드하여 CA 인증서, 클라이언트 인증서 및 클라이언트 개인 키를 제공합니다.
   5. 저장을 클릭합니다.

   6. 여러 네트워크 인터페이스를 사용하는 경우 단일 네트워크 또는 사용자 지정(Multus) 을 사용하는 경우 Default(SDN) 를 선택합니다.

      1. 드롭다운에서 공용 네트워크 인터페이스를 선택합니다.
      2. 드롭다운에서 Cluster Network Interface를 선택합니다. 알림: 추가 네트워크 인터페이스를 하나만 사용하는 경우 단일 NetworkAttachementDefinition, 즉 공용 네트워크 인터페이스인 ocs-public-cluster 를 선택하고 Cluster Network Interface를 비워 둡니다.
   7. 다음을 클릭합니다.

7. 검토 및 생성 페이지에서 모든 세부 정보가 올바른지 확인합니다.

   • 구성 설정을 수정하려면 뒤로 이동하여 이전 구성 페이지로 돌아갑니다.
8. Create StorageSystem 을 클릭합니다.

절차

1. openshift-monitoring 네임스페이스에서 현재 실행 중인 Pod 및 PVC를 나열합니다.

   $ oc get pod,pvc -n openshift-monitoring
   NAME                           READY   STATUS    RESTARTS   AGE
   pod/alertmanager-main-0         3/3     Running   0          8d
   pod/alertmanager-main-1         3/3     Running   0          8d
   pod/alertmanager-main-2         3/3     Running   0          8d
   pod/cluster-monitoring-
   operator-84457656d-pkrxm        1/1     Running   0          8d
   pod/grafana-79ccf6689f-2ll28    2/2     Running   0          8d
   pod/kube-state-metrics-
   7d86fb966-rvd9w                 3/3     Running   0          8d
   pod/node-exporter-25894         2/2     Running   0          8d
   pod/node-exporter-4dsd7         2/2     Running   0          8d
   pod/node-exporter-6p4zc         2/2     Running   0          8d
   pod/node-exporter-jbjvg         2/2     Running   0          8d
   pod/node-exporter-jj4t5         2/2     Running   0          6d18h
   pod/node-exporter-k856s         2/2     Running   0          6d18h
   pod/node-exporter-rf8gn         2/2     Running   0          8d
   pod/node-exporter-rmb5m         2/2     Running   0          6d18h
   pod/node-exporter-zj7kx         2/2     Running   0          8d
   pod/openshift-state-metrics-
   59dbd4f654-4clng                3/3     Running   0          8d
   pod/prometheus-adapter-
   5df5865596-k8dzn                1/1     Running   0          7d23h
   pod/prometheus-adapter-
   5df5865596-n2gj9                1/1     Running   0          7d23h
   pod/prometheus-k8s-0            6/6     Running   1          8d
   pod/prometheus-k8s-1            6/6     Running   1          8d
   pod/prometheus-operator-
   55cfb858c9-c4zd9                1/1     Running   0          6d21h
   pod/telemeter-client-
   78fc8fc97d-2rgfp                3/3     Running   0          8d
   
   NAME                                                              STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                  AGE
   persistentvolumeclaim/my-alertmanager-claim-alertmanager-main-0   Bound    pvc-0d519c4f-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-external-storagecluster-ceph-rbd   8d
   persistentvolumeclaim/my-alertmanager-claim-alertmanager-main-1   Bound    pvc-0d5a9825-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-external-storagecluster-ceph-rbd   8d
   persistentvolumeclaim/my-alertmanager-claim-alertmanager-main-2   Bound    pvc-0d6413dc-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-external-storagecluster-ceph-rbd   8d
   persistentvolumeclaim/my-prometheus-claim-prometheus-k8s-0        Bound    pvc-0b7c19b0-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-external-storagecluster-ceph-rbd   8d
   persistentvolumeclaim/my-prometheus-claim-prometheus-k8s-1        Bound    pvc-0b8aed3f-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-external-storagecluster-ceph-rbd   8d

2. 모니터링 구성 맵을 편집합니다.

   $ oc -n openshift-monitoring edit configmap cluster-monitoring-config

   다음 예제에 표시된 대로 OpenShift Data Foundation 스토리지 클래스를 참조하는 config 섹션을 제거하고 저장합니다.

   편집 전

   . . . apiVersion: v1 data: config.yaml: | alertmanagerMain: volumeClaimTemplate: metadata: name: my-alertmanager-claim spec: resources: requests: storage: 40Gi storageClassName: ocs-external-storagecluster-ceph-rbd prometheusK8s: volumeClaimTemplate: metadata: name: my-prometheus-claim spec: resources: requests: storage: 40Gi storageClassName: ocs-external-storagecluster-ceph-rbd kind: ConfigMap metadata: creationTimestamp: "2019-12-02T07:47:29Z" name: cluster-monitoring-config namespace: openshift-monitoring resourceVersion: "22110" selfLink: /api/v1/namespaces/openshift-monitoring/configmaps/cluster-monitoring-config uid: fd6d988b-14d7-11ea-84ff-066035b9efa8 . . .

   편집 후

   . . . apiVersion: v1 data: config.yaml: | kind: ConfigMap metadata: creationTimestamp: "2019-11-21T13:07:05Z" name: cluster-monitoring-config namespace: openshift-monitoring resourceVersion: "404352" selfLink: /api/v1/namespaces/openshift-monitoring/configmaps/cluster-monitoring-config uid: d12c796a-0c5f-11ea-9832-063cd735b81c . . .

   이 예에서는 alertmanagerMain 및 prometheusK8s 모니터링 구성 요소가 OpenShift Data Foundation PVC를 사용하고 있습니다.

3. PVC를 사용하는 Pod를 나열합니다.

   이 예에서 PVC를 사용하는 alertmanagerMain 및 prometheusK8s Pod는 Terminating 상태입니다. 이러한 Pod가 더 이상 OpenShift Data Foundation PVC를 사용하지 않으면 PVC를 삭제할 수 있습니다.

   $ oc get pod,pvc -n openshift-monitoring
   NAME                                               READY   STATUS      RESTARTS AGE
   pod/alertmanager-main-0                            3/3     Terminating   0      10h
   pod/alertmanager-main-1                            3/3     Terminating   0      10h
   pod/alertmanager-main-2                            3/3     Terminating   0      10h
   pod/cluster-monitoring-operator-84cd9df668-zhjfn   1/1     Running       0      18h
   pod/grafana-5db6fd97f8-pmtbf                       2/2     Running       0      10h
   pod/kube-state-metrics-895899678-z2r9q             3/3     Running       0      10h
   pod/node-exporter-4njxv                            2/2     Running       0      18h
   pod/node-exporter-b8ckz                            2/2     Running       0      11h
   pod/node-exporter-c2vp5                            2/2     Running       0      18h
   pod/node-exporter-cq65n                            2/2     Running       0      18h
   pod/node-exporter-f5sm7                            2/2     Running       0      11h
   pod/node-exporter-f852c                            2/2     Running       0      18h
   pod/node-exporter-l9zn7                            2/2     Running       0      11h
   pod/node-exporter-ngbs8                            2/2     Running       0      18h
   pod/node-exporter-rv4v9                            2/2     Running       0      18h
   pod/openshift-state-metrics-77d5f699d8-69q5x       3/3     Running       0      10h
   pod/prometheus-adapter-765465b56-4tbxx             1/1     Running       0      10h
   pod/prometheus-adapter-765465b56-s2qg2             1/1     Running       0      10h
   pod/prometheus-k8s-0                               6/6     Terminating   1      9m47s
   pod/prometheus-k8s-1                               6/6     Terminating   1      9m47s
   pod/prometheus-operator-cbfd89f9-ldnwc             1/1     Running       0      43m
   pod/telemeter-client-7b5ddb4489-2xfpz              3/3     Running       0      10h
   
   NAME                                                      STATUS  VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                  AGE
   persistentvolumeclaim/ocs-alertmanager-claim-alertmanager-main-0   Bound    pvc-2eb79797-1fed-11ea-93e1-0a88476a6a64   40Gi       RWO            ocs-external-storagecluster-ceph-rbd   19h
   persistentvolumeclaim/ocs-alertmanager-claim-alertmanager-main-1   Bound    pvc-2ebeee54-1fed-11ea-93e1-0a88476a6a64   40Gi       RWO            ocs-external-storagecluster-ceph-rbd   19h
   persistentvolumeclaim/ocs-alertmanager-claim-alertmanager-main-2   Bound    pvc-2ec6a9cf-1fed-11ea-93e1-0a88476a6a64   40Gi       RWO            ocs-external-storagecluster-ceph-rbd   19h
   persistentvolumeclaim/ocs-prometheus-claim-prometheus-k8s-0        Bound    pvc-3162a80c-1fed-11ea-93e1-0a88476a6a64   40Gi       RWO            ocs-external-storagecluster-ceph-rbd   19h
   persistentvolumeclaim/ocs-prometheus-claim-prometheus-k8s-1        Bound    pvc-316e99e2-1fed-11ea-93e1-0a88476a6a64   40Gi       RWO            ocs-external-storagecluster-ceph-rbd   19h

4. 관련 PVC를 삭제합니다. 스토리지 클래스를 사용하는 모든 PVC를 삭제해야 합니다.

   $ oc delete -n openshift-monitoring pvc <pvc-name> --wait=true --timeout=5m

절차

1. configs.imageregistry.operator.openshift.io 오브젝트를 편집하고 storage 섹션에서 콘텐츠를 제거합니다.

   $ oc edit configs.imageregistry.operator.openshift.io

   편집 전

   . . . storage: pvc: claim: registry-cephfs-rwx-pvc . . .

   편집 후

   . . . storage: emptyDir: {} . . .

   이 예에서 PVC는 이제 삭제할 수 있는 registry-cephfs-rwx-pvc 라고 합니다.

2. PVC를 삭제합니다.

   $ oc delete pvc <pvc-name> -n openshift-image-registry --wait=true --timeout=5m

절차

1. 네임스페이스에서 ClusterLogging 인스턴스를 제거합니다.

   $ oc delete clusterlogging instance -n openshift-logging --wait=true --timeout=5m

   openshift-logging 네임스페이스의 PVC는 이제 삭제할 수 있습니다.

2. PVC를 삭제합니다.

   $ oc delete pvc <pvc-name> -n openshift-logging --wait=true --timeout=5m

   <pvc-name>

   PVC의 이름입니다.