컨테이너화된 Red Hat Ceph를 사용하여 오버클라우드 배포

1. 하드웨어 인트로스펙션을 트리거하여 각 노드의 하드웨어 속성을 검색합니다.

   $ openstack overcloud node introspect --all-manageable --provide

   • --all-manageable 옵션은 관리 상태의 노드만 인트로스펙션합니다. 이 예제에서는 모든 것입니다.

   • --provide 옵션은 인트로스펙션 이후 모든 노드를 활성 상태로 재설정합니다.

     중요

     이 프로세스가 완료되었는지 확인합니다. 베어 메탈 노드의 경우 이 프로세스는 일반적으로 15분 정도 걸립니다.

2. 노드 목록을 검색하여 해당 UUID를 확인합니다.

   $ openstack baremetal node list

3. 각 노드의 properties/capabilities 매개변수에 profile 옵션을 추가하여 노드를 특정 프로필에 수동으로 태그합니다.

   예를 들어 일반적인 배포에서는 세 개의 프로필인 control,compute, ceph-storage 를 사용합니다. 다음 명령은 각 프로필에 대해 세 개의 노드를 태그합니다.

   $ ironic node-update 1a4e30da-b6dc-499d-ba87-0bd8a3819bc0 add properties/capabilities='profile:control,boot_option:local'
   $ ironic node-update 6faba1a9-e2d8-4b7c-95a2-c7fbdc12129a add properties/capabilities='profile:control,boot_option:local'
   $ ironic node-update 5e3b2f50-fcd9-4404-b0a2-59d79924b38e add properties/capabilities='profile:control,boot_option:local'
   $ ironic node-update 484587b2-b3b3-40d5-925b-a26a2fa3036f add properties/capabilities='profile:compute,boot_option:local'
   $ ironic node-update d010460b-38f2-4800-9cc4-d69f0d067efe add properties/capabilities='profile:compute,boot_option:local'
   $ ironic node-update d930e613-3e14-44b9-8240-4f3559801ea6 add properties/capabilities='profile:compute,boot_option:local'
   $ ironic node-update da0cc61b-4882-45e0-9f43-fab65cf4e52b add properties/capabilities='profile:ceph-storage,boot_option:local'
   $ ironic node-update b9f70722-e124-4650-a9b1-aade8121b5ed add properties/capabilities='profile:ceph-storage,boot_option:local'
   $ ironic node-update 68bf8f29-7731-4148-ba16-efb31ab8d34f add properties/capabilities='profile:ceph-storage,boot_option:local'

   작은 정보

   Ceph MON 및 Ceph MDS 서비스의 노드에 태그를 지정하도록 새 사용자 지정 프로필을 구성할 수도 있습니다. 자세한 내용은 3장. 전용 노드에 기타 Ceph 서비스 배포 을 참조하십시오.

   profile 옵션을 추가하면 각 프로필에 노드를 태그합니다.

절차

1. 각 노드의 하드웨어 인트로스펙션에서 디스크 정보를 확인합니다. 다음 명령을 실행하여 노드의 디스크 정보를 표시합니다.

   (undercloud) $ openstack baremetal introspection data save 1a4e30da-b6dc-499d-ba87-0bd8a3819bc0 | jq ".inventory.disks"

   예를 들어 노드 1개의 데이터에서 디스크 3개가 표시될 수 있습니다.

   [
     {
       "size": 299439751168,
       "rotational": true,
       "vendor": "DELL",
       "name": "/dev/sda",
       "wwn_vendor_extension": "0x1ea4dcc412a9632b",
       "wwn_with_extension": "0x61866da04f3807001ea4dcc412a9632b",
       "model": "PERC H330 Mini",
       "wwn": "0x61866da04f380700",
       "serial": "61866da04f3807001ea4dcc412a9632b"
     }
     {
       "size": 299439751168,
       "rotational": true,
       "vendor": "DELL",
       "name": "/dev/sdb",
       "wwn_vendor_extension": "0x1ea4e13c12e36ad6",
       "wwn_with_extension": "0x61866da04f380d001ea4e13c12e36ad6",
       "model": "PERC H330 Mini",
       "wwn": "0x61866da04f380d00",
       "serial": "61866da04f380d001ea4e13c12e36ad6"
     }
     {
       "size": 299439751168,
       "rotational": true,
       "vendor": "DELL",
       "name": "/dev/sdc",
       "wwn_vendor_extension": "0x1ea4e31e121cfb45",
       "wwn_with_extension": "0x61866da04f37fc001ea4e31e121cfb45",
       "model": "PERC H330 Mini",
       "wwn": "0x61866da04f37fc00",
       "serial": "61866da04f37fc001ea4e31e121cfb45"
     }
   ]

2. 노드 정의의 root_device 매개변수로 변경합니다. 다음 예제에서는 루트 장치를 일련 번호로 61866da04f380d001ea4e13c12e36ad6 으로 설정하는 방법을 보여줍니다.

   (undercloud) $ openstack baremetal node set --property root_device='{"serial": "61866da04f380d001ea4e13c12e36ad6"}' 1a4e30da-b6dc-499d-ba87-0bd8a3819bc0

   참고

   각 노드의 BIOS를 설정하여 선택한 root 디스크로 부팅이 포함되도록 합니다. 네트워크에서 먼저 부팅한 다음, root 디스크에서 부팅하도록 부팅 순서를 구성합니다.

절차

1. overcloud-minimal 이미지를 사용하도록 director를 구성하려면 다음 이미지 정의가 포함된 환경 파일을 생성합니다.

   parameter_defaults:
     <roleName>Image: overcloud-minimal

2. <roleName>을 역할 이름으로 바꾸고 Image를 역할의 이름에 추가합니다. 다음 예에서는 Ceph 스토리지 노드의 overcloud-minimal 이미지를 보여줍니다.

   parameter_defaults:
     CephStorageImage: overcloud-minimal

3. openstack overcloud deploy 명령에 환경 파일을 전달합니다.

1. /home/stack/templates/roles_data_custom.yaml 파일을 엽니다.
2. 컨트롤러 역할의 에서 Ceph MON 서비스(예: OS::TripleO::Services::CephMon)의 서비스 항목을 제거합니다.

3. 컨트롤러 역할에 OS::TripleO::Services::CephClient 서비스를 추가합니다.

   [...]
   - name: Controller # the 'primary' role goes first
     CountDefault: 1
     ServicesDefault:
       - OS::TripleO::Services::CACerts
       - OS::TripleO::Services::CephMds
       - OS::TripleO::Services::CephClient
       - OS::TripleO::Services::CephExternal
       - OS::TripleO::Services::CephRbdMirror
       - OS::TripleO::Services::CephRgw
       - OS::TripleO::Services::CinderApi
   [...]

4. roles_data_custom.yaml 이 끝나면 Ceph MON 서비스와 기타 모든 필수 노드 서비스가 포함된 사용자 지정 CephMon 역할을 추가합니다. 예를 들면 다음과 같습니다.

   - name: CephMon
     ServicesDefault:
       # Common Services
       - OS::TripleO::Services::AuditD
       - OS::TripleO::Services::CACerts
       - OS::TripleO::Services::CertmongerUser
       - OS::TripleO::Services::Collectd
       - OS::TripleO::Services::Docker
       - OS::TripleO::Services::Fluentd
       - OS::TripleO::Services::Kernel
       - OS::TripleO::Services::Ntp
       - OS::TripleO::Services::ContainersLogrotateCrond
       - OS::TripleO::Services::SensuClient
       - OS::TripleO::Services::Snmp
       - OS::TripleO::Services::Timezone
       - OS::TripleO::Services::TripleoFirewall
       - OS::TripleO::Services::TripleoPackages
       - OS::TripleO::Services::Tuned
       # Role-Specific Services
       - OS::TripleO::Services::CephMon

5. openstack flavor create 명령을 사용하여 이 역할에 대해 ceph-mon 이라는 새 플레이버를 정의합니다.

   $ openstack flavor create --id auto --ram 6144 --disk 40 --vcpus 4 ceph-mon

   참고

   이 명령에 대한 자세한 내용을 보려면 openstack flavor create --help 를 실행하십시오.

6. 이 플레이버를 ceph-mon 이라는 새 프로필에 매핑합니다.

   $ openstack flavor set --property "cpu_arch"="x86_64" --property "capabilities:boot_option"="local" --property "capabilities:profile"="ceph-mon" ceph-mon

   참고

   이 명령에 대한 자세한 내용은 openstack flavor set --help 를 실행하십시오.

7. 새 ceph-mon 프로필에 노드를 태그합니다.

   $ ironic node-update UUID add properties/capabilities='profile:ceph-mon,boot_option:local'

8. node-info.yaml 파일에 다음 구성을 추가하여 ceph-mon 플레이버를 CephMon 역할과 연결합니다.

   parameter_defaults:
     OvercloudCephMonFlavor: CephMon
     CephMonCount: 3

1. /home/stack/templates/roles_data_custom.yaml 파일을 엽니다.

2. Controller 역할의 에서 Ceph MDS 서비스(예: OS::TripleO::Services::CephMds)의 서비스 항목을 제거합니다.

   [...]
   - name: Controller # the 'primary' role goes first
     CountDefault: 1
     ServicesDefault:
       - OS::TripleO::Services::CACerts
       # - OS::TripleO::Services::CephMds 1
       - OS::TripleO::Services::CephMon
       - OS::TripleO::Services::CephExternal
       - OS::TripleO::Services::CephRbdMirror
       - OS::TripleO::Services::CephRgw
       - OS::TripleO::Services::CinderApi
   [...]

   1

   이 행을 주석 처리하십시오. 이 동일한 서비스가 다음 단계에서 사용자 지정 역할에 추가됩니다.

3. roles_data_custom.yaml 이 끝나면 Ceph MDS 서비스와 기타 모든 필수 노드 서비스가 포함된 사용자 지정 CephMDS 역할을 추가합니다. 예를 들면 다음과 같습니다.

   - name: CephMDS
     ServicesDefault:
       # Common Services
       - OS::TripleO::Services::AuditD
       - OS::TripleO::Services::CACerts
       - OS::TripleO::Services::CertmongerUser
       - OS::TripleO::Services::Collectd
       - OS::TripleO::Services::Docker
       - OS::TripleO::Services::Fluentd
       - OS::TripleO::Services::Kernel
       - OS::TripleO::Services::Ntp
       - OS::TripleO::Services::ContainersLogrotateCrond
       - OS::TripleO::Services::SensuClient
       - OS::TripleO::Services::Snmp
       - OS::TripleO::Services::Timezone
       - OS::TripleO::Services::TripleoFirewall
       - OS::TripleO::Services::TripleoPackages
       - OS::TripleO::Services::Tuned
       # Role-Specific Services
       - OS::TripleO::Services::CephMds
       - OS::TripleO::Services::CephClient 1

   1

   Ceph MDS 서비스에는 Ceph MON 또는 Ceph Client 서비스에서 설정할 수 있는 관리자 인증 키가 필요합니다. Ceph MON 서비스 없이 전용 노드에 Ceph MDS를 배포하고 있으므로 역할에 Ceph 클라이언트 서비스를 포함합니다.

4. openstack flavor create 명령을 사용하여 이 역할에 사용할 ceph-mds 라는 새 플레이버를 정의합니다.

   $ openstack flavor create --id auto --ram 6144 --disk 40 --vcpus 4 ceph-mds

   참고

   이 명령에 대한 자세한 내용을 보려면 openstack flavor create --help 를 실행하십시오.

5. 이 플레이버를 ceph-mds 라는 새 프로필에 매핑합니다.

   $ openstack flavor set --property "cpu_arch"="x86_64" --property "capabilities:boot_option"="local" --property "capabilities:profile"="ceph-mds" ceph-mds

   참고

   이 명령에 대한 자세한 내용은 openstack flavor set --help 를 실행하십시오.

절차

1. 사용자 지정 환경 파일(예: swift-external-params.yaml )에 다음 parameter_defaults 를 추가하고 배포에 맞게 값을 조정합니다.

   parameter_defaults:
      ExternalPublicUrl: 'http://<Public RGW endpoint or loadbalancer>:8080/swift/v1/AUTH_%(project_id)s'
      ExternalInternalUrl: 'http://<Internal RGW endpoint>:8080/swift/v1/AUTH_%(project_id)s'
      ExternalAdminUrl: 'http://<Admin RGW endpoint>:8080/swift/v1/AUTH_%(project_id)s'
      ExternalSwiftUserTenant: 'service'
      SwiftPassword: 'choose_a_random_password'

   참고

   코드 조각 예제에는 사용자 환경에서 사용하는 값과 다를 수 있는 매개변수 값이 포함되어 있습니다.

   • 원격 RGW 인스턴스가 수신 대기하는 기본 포트는 8080 입니다. 외부 RGW가 구성된 방법에 따라 포트가 다를 수 있습니다.
   • 오버클라우드에서 생성된 swift 사용자는 SwiftPassword 매개변수로 정의된 암호를 사용합니다. rgw_keystone_admin_password 를 사용하여 ID 서비스로 인증하기 위해 동일한 암호를 사용하도록 외부 RGW 인스턴스를 구성해야 합니다.

2. 다음 코드를 Ceph 구성 파일에 추가하여 ID 서비스를 사용하도록 RGW를 구성합니다. 환경에 맞게 변수 값을 조정합니다.

       rgw_keystone_api_version: 3
       rgw_keystone_url: http://<public Keystone endpoint>:5000/
       rgw_keystone_accepted_roles: 'member, Member, admin'
       rgw_keystone_accepted_admin_roles: ResellerAdmin, swiftoperator
       rgw_keystone_admin_domain: default
       rgw_keystone_admin_project: service
       rgw_keystone_admin_user: swift
       rgw_keystone_admin_password: <Password as defined in the environment parameters>
       rgw_keystone_implicit_tenants: 'true'
       rgw_keystone_revocation_interval: '0'
       rgw_s3_auth_use_keystone: 'true'
       rgw_swift_versioning_enabled: 'true'
       rgw_swift_account_in_url: 'true'

   참고

   director는 기본적으로 ID 서비스에 다음 역할 및 사용자를 생성합니다.

   • rgw_keystone_accepted_admin_roles: ResellerAdmin, swiftoperator
   • rgw_keystone_admin_domain: default
   • rgw_keystone_admin_project: service
   • rgw_keystone_admin_user: swift

3. 추가 환경 파일을 사용하여 오버클라우드를 배포합니다.

   openstack overcloud deploy --templates \
   -e <your environment files>
   -e /usr/share/openstack-tripleo-heat-templates/environments/swift-external.yaml
   -e swift-external-params.yaml

절차

1. OSD/journal 매핑을 선언합니다.

   parameter_defaults:
     CephAnsibleDisksConfig:
      devices:
      - /dev/sda
      - /dev/sdb
      dedicated_devices:
      - /dev/sdc
      - /dev/sdc
      osd_scenario: non-collocated
      journal_size: 8192

절차

1. 기본 복제 요소를 두 개로 설정합니다. 이 예제에서는 4개의 노드를 두 개의 다른 루트로 분할합니다.

   parameter_defaults:
     CephPoolDefaultSize: 2

절차

1. 다음 명령을 실행하여 4개의 노드의 UUID를 검색합니다.

   for ((x=1; x<=4; x++)); \
   { echo "Node overcloud-ceph0${x}"; \
   openstack baremetal introspection data save overcloud-ceph0${x} | jq .extra.system.product.uuid; }
   Node overcloud-ceph01
   "32C2BC31-F6BB-49AA-971A-377EFDFDB111"
   Node overcloud-ceph02
   "76B4C69C-6915-4D30-AFFD-D16DB74F64ED"
   Node overcloud-ceph03
   "FECF7B20-5984-469F-872C-732E3FEF99BF"
   Node overcloud-ceph04
   "5FFEFA5F-69E4-4A88-B9EA-62811C61C8B3"

   참고

   이 예제에서 overcloud-ceph0[1-4]는 Ironic 노드 이름입니다. 이 노드 이름은 lab-ceph0[1-4] 으로 배포됩니다( HostnameMap.yaml을 통해).

2. 다음과 같이 노드 배치를 지정합니다.

   루트	Rack	노드
   standard_root	rack1_std	overcloud-ceph01(lab-ceph01)
   	rack2_std	overcloud-ceph02(lab-ceph02)
   fast_root	rack1_fast	overcloud-ceph03 (lab-ceph03)
   	rack2_fast	overcloud-ceph04(lab-ceph04)

   참고

   동일한 이름을 가진 두 개의 버킷을 가질 수 없습니다. lab-ceph01 및 lab-ceph03 이 동일한 물리적 랙에 있더라도 rack1 이라는 두 개의 버킷을 가질 수 없습니다. 따라서 rack1_std 및 rack1_fast 의 이름을 지정합니다.

   참고

   이 예제에서는 여러 사용자 지정 루트를 설명하기 위해 "standard_root"라는 특정 경로를 생성하는 방법을 보여줍니다. 그러나 HDD의 OSD 노드를 기본 루트에 보관할 수 있습니다.

3. 다음 NodeDataLookup 구문을 사용합니다.

   NodeDataLookup: {"SYSTEM_UUID": {"osd_crush_location": {"root": "$MY_ROOT", "rack": "$MY_RACK", "host": "$OVERCLOUD_NODE_HOSTNAME"}}}

   참고

   시스템 UUID를 지정한 다음 CRUSH 계층 구조를 위에서 아래로 지정해야 합니다. 또한 host 매개변수는 Bare Metal 서비스(ironic) 노드 이름이 아닌 노드의 오버클라우드 호스트 이름을 가리켜야 합니다. 예제 구성과 일치하려면 다음을 입력합니다.

   parameter_defaults:
     NodeDataLookup: {"32C2BC31-F6BB-49AA-971A-377EFDFDB111": {"osd_crush_location": {"root": "standard_root", "rack": "rack1_std", "host": "lab-ceph01"}},
        "76B4C69C-6915-4D30-AFFD-D16DB74F64ED": {"osd_crush_location": {"root": "standard_root", "rack": "rack2_std", "host": "lab-ceph02"}},
        "FECF7B20-5984-469F-872C-732E3FEF99BF": {"osd_crush_location": {"root": "fast_root", "rack": "rack1_fast", "host": "lab-ceph03"}},
        "5FFEFA5F-69E4-4A88-B9EA-62811C61C8B3": {"osd_crush_location": {"root": "fast_root", "rack": "rack2_fast", "host": "lab-ceph04"}}}

4. ceph-ansible 수준에서 CRUSH 맵 관리를 활성화합니다.

   parameter_defaults:
     CephAnsibleExtraConfig:
       create_crush_tree: true

5. 스케줄러 힌트를 사용하여 베어 메탈 서비스 노드 UUID가 호스트 이름에 올바르게 매핑되도록 합니다.

   parameter_defaults:
     CephStorageCount: 4
     OvercloudCephStorageFlavor: ceph-storage
     CephStorageSchedulerHints:
       'capabilities:node': 'ceph-%index%'

6. 해당 힌트로 베어 메탈 서비스 노드를 태그합니다.

   openstack baremetal node set --property capabilities='profile:ceph-storage,node:ceph-0,boot_option:local' overcloud-ceph01
   
   openstack baremetal node set --property capabilities=profile:ceph-storage,'node:ceph-1,boot_option:local' overcloud-ceph02
   
   openstack baremetal node set --property capabilities='profile:ceph-storage,node:ceph-2,boot_option:local' overcloud-ceph03
   
   openstack baremetal node set --property capabilities='profile:ceph-storage,node:ceph-3,boot_option:local' overcloud-ceph04

   참고

   예측 배치에 대한 자세한 내용은 Advanced Overcloud Customization 가이드의 특정 노드 ID 할당 을 참조하십시오.

절차

1. 다음 구문을 사용하여 CRUSH 규칙을 정의합니다.

   parameter_defaults:
     CephAnsibleExtraConfig:
       crush_rules:
         - name: $RULE_NAME
           root: $ROOT_NAME
           type: $REPLICAT_DOMAIN
           default: true/false

   참고

   default 매개변수를 true 로 설정하면 규칙을 지정하지 않고 새 풀을 생성할 때 이 규칙이 사용됩니다. 하나의 기본 규칙만 있을 수 있습니다.

   다음 예제에서 규칙 표준 은 랙당 하나의 복제본을 가진 standard_root 에서 호스팅되는 OSD 노드를 가리킵니다. 규칙은 랙당 하나의 복제본으로 standard_root 에서 호스팅되는 OSD 노드를 빠르 게 가리킵니다.

   parameter_defaults:
     CephAnsibleExtraConfig:
       crush_rule_config: true
       crush_rules:
         - name: standard
           root: standard_root
           type: rack
           default: true
         - name: fast
           root: fast_root
           type: rack
           default: false

   참고

   crush_rule_config 를 true 로 설정해야 합니다.

절차

1. 다음 구문을 사용하여 풀 속성을 정의하거나 변경합니다.

   - name: $POOL_NAME
        pg_num: $PG_COUNT
        rule_name: $RULE_NAME
        application: rbd

2. 모든 OSP 풀을 나열하고 적절한 규칙(이 경우 표준)을 설정하고 빠 른 규칙을 사용하는 tier2 라는 새 풀을 만듭니다. 이 풀은 Block Storage(cinder)에서 사용됩니다.

   parameter_defaults:
     CephPools:
       - name: tier2
         pg_num: 64
         rule_name: fast
         application: rbd
   
       - name: volumes
         pg_num: 64
         rule_name: standard
         application: rbd
   
       - name: vms
         pg_num: 64
         rule_name: standard
         application: rbd
   
       - name: backups
         pg_num: 64
         rule_name: standard
         application: rbd
   
       - name: images
         pg_num: 64
         rule_name: standard
         application: rbd
   
       - name: metrics
         pg_num: 64
         rule_name: standard
         application: openstack_gnocchi

절차

1. 다음과 같이 cinder.conf 를 업데이트합니다.

   parameter_defaults:
     CinderRbdExtraPools:
       - tier2

절차

1. Ceph 모니터 노드에 연결하고 다음 명령을 실행합니다.

   # ceph osd tree
   ID WEIGHT  TYPE NAME               UP/DOWN REWEIGHT PRIMARY-AFFINITY
   -7 0.39996 root standard_root
   -6 0.19998     rack rack1_std
   -5 0.19998         host lab-ceph02
    1 0.09999             osd.1            up  1.00000          1.00000
    4 0.09999             osd.4            up  1.00000          1.00000
   -9 0.19998     rack rack2_std
   -8 0.19998         host lab-ceph03
    0 0.09999             osd.0            up  1.00000          1.00000
    3 0.09999             osd.3            up  1.00000          1.00000
   -4 0.19998 root fast_root
   -3 0.19998     rack rack1_fast
   -2 0.19998         host lab-ceph01
    2 0.09999             osd.2            up  1.00000          1.00000
    5 0.09999             osd.5            up  1.00000          1.00000

1. 컨트롤러 노드에 heat-admin 사용자로 로그인합니다.

   $ nova list
   $ ssh heat-admin@192.168.0.25

2. 클러스터 상태를 확인합니다.

   $ sudo docker exec ceph-mon-$HOSTNAME ceph health

   클러스터에 문제가 없는 경우 명령에서 HEALTH_OK 를 다시 보고합니다. 즉, 클러스터를 안전하게 사용할 수 있습니다.

3. Ceph 모니터 서비스를 실행하는 오버클라우드 노드에 로그인하고 클러스터에서 모든 OSD의 상태를 확인합니다.

   sudo docker exec ceph-mon-$HOSTNAME ceph osd tree

4. Ceph Monitor 쿼럼의 상태를 확인합니다.

   $ sudo ceph quorum_status

   이는 쿼럼에 참여하는 모니터와 리더인 모니터를 보여줍니다.

5. 모든 Ceph OSD가 실행 중인지 확인합니다.

   $ ceph osd stat

절차

1. Ceph MON 또는 컨트롤러 노드에 로그인하고 Ceph Storage 클러스터 재조정을 일시적으로 비활성화합니다.

   $ sudo ceph osd set noout
   $ sudo ceph osd set norebalance

2. 재부팅할 첫 번째 Ceph Storage 노드를 선택하고 로그인합니다.

3. 노드를 재부팅합니다.

   $ sudo reboot

4. 노드가 부팅될 때까지 기다립니다.

5. Ceph MON 또는 컨트롤러 노드에 로그인하고 클러스터 상태를 확인합니다.

   $ sudo ceph -s

   pgmap이 모든 pgs를 정상(active+clean)으로 보고하는지 확인합니다.

6. Ceph MON 또는 컨트롤러 노드에서 로그아웃하고 다음 Ceph Storage 노드를 재부팅한 후 상태를 확인합니다. 모든 Ceph Storage 노드가 재부팅될 때까지 이 프로세스를 반복합니다.

7. 완료되면 Ceph MON 또는 컨트롤러 노드에 로그인하고 클러스터 재조정을 다시 활성화합니다.

   $ sudo ceph osd unset noout
   $ sudo ceph osd unset norebalance

8. 최종 상태 검사를 수행하여 클러스터가 HEALTH_OK를 보고하는지 확인합니다.

   $ sudo ceph status

1. stack 사용자로 director 호스트에 로그인하고 director 설정을 초기화합니다.

   $ source ~/stackrc

2. 새 노드 정의 템플릿에 새 노드의 하드웨어 및 전원 관리 세부 정보(예: instackenv-scale.json )를 정의합니다.

3. 이 파일을 OpenStack director로 가져옵니다.

   $ openstack overcloud node import ~/instackenv-scale.json

   노드 정의 템플릿을 가져오면 여기에 정의된 각 노드가 director에 등록됩니다.

4. 커널 및 ramdisk 이미지를 모든 노드에 할당합니다.

   $ openstack overcloud node configure

1. 하드웨어 인트로스펙션을 트리거하여 각 노드의 하드웨어 속성을 검색합니다.

   $ openstack overcloud node introspect --all-manageable --provide

   • --all-manageable 옵션은 관리 상태의 노드만 인트로스펙션합니다. 이 예제에서는 모든 것입니다.

   • --provide 옵션은 인트로스펙션 이후 모든 노드를 활성 상태로 재설정합니다.

     중요

     이 프로세스가 완료되었는지 확인합니다. 베어 메탈 노드의 경우 이 프로세스는 일반적으로 15분 정도 걸립니다.

2. 노드 목록을 검색하여 해당 UUID를 확인합니다.

   $ openstack baremetal node list

3. 각 노드의 properties/capabilities 매개변수에 profile 옵션을 추가하여 노드를 특정 프로필에 수동으로 태그합니다.

   예를 들어 다음 명령은 ceph-storage 프로필을 사용하여 세 개의 추가 노드를 태그합니다.

   $ ironic node-update 551d81f5-4df2-4e0f-93da-6c5de0b868f7 add properties/capabilities='profile:ceph-storage,boot_option:local'
   $ ironic node-update 5e735154-bd6b-42dd-9cc2-b6195c4196d7 add properties/capabilities='profile:ceph-storage,boot_option:local'
   $ ironic node-update 1a2b090c-299d-4c20-a25d-57dd21a7085b add properties/capabilities='profile:ceph-storage,boot_option:local'

절차

1. 컨트롤러 노드에 heat-admin 사용자로 로그인합니다. director stack 사용자에게는 heat-admin 사용자에 액세스할 수 있는 SSH 키가 있습니다.

2. OSD 트리를 나열하고 노드의 OSD를 찾습니다. 예를 들어 삭제하려는 노드에는 다음 OSD가 포함될 수 있습니다.

   -2 0.09998     host overcloud-cephstorage-0
   0 0.04999         osd.0                         up  1.00000          1.00000
   1 0.04999         osd.1                         up  1.00000          1.00000

3. Ceph Storage 노드에서 OSD를 비활성화합니다. 이 경우 OSD ID는 0과 1입니다.

   [heat-admin@overcloud-controller-0 ~]$ sudo docker exec ceph-mon-<HOSTNAME> ceph osd out 0
   [heat-admin@overcloud-controller-0 ~]$ sudo docker exec ceph-mon-<HOSTNAME> ceph osd out 1

4. Ceph Storage 클러스터의 재조정이 시작됩니다. 이 프로세스가 완료될 때까지 기다립니다. 다음 명령을 사용하여 상태를 따릅니다.

   [heat-admin@overcloud-controller-0 ~]$ sudo docker exec ceph-mon-<HOSTNAME> ceph -w

5. Ceph 클러스터의 재조정이 완료되면 삭제 중인 Ceph Storage 노드에 로그인합니다(이 경우 overcloud-cephstorage-0, heat-admin 사용자로, 노드를 중지 및 비활성화합니다.

   [heat-admin@overcloud-cephstorage-0 ~]$ sudo systemctl stop ceph-osd@0
   [heat-admin@overcloud-cephstorage-0 ~]$ sudo systemctl stop ceph-osd@1
   [heat-admin@overcloud-cephstorage-0 ~]$ sudo systemctl disable ceph-osd@0
   [heat-admin@overcloud-cephstorage-0 ~]$ sudo systemctl disable ceph-osd@1

6. OSD를 중지합니다.

   [heat-admin@overcloud-cephstorage-0 ~]$ sudo systemctl stop ceph-osd@0
   [heat-admin@overcloud-cephstorage-0 ~]$ sudo systemctl stop ceph-osd@1

7. 컨트롤러 노드에 로그인하는 동안 CRUSH 맵에서 OSD를 제거하여 더 이상 데이터를 수신하지 못하도록 합니다.

   [heat-admin@overcloud-controller-0 ~]$ sudo docker exec ceph-mon-<HOSTNAME> ceph osd crush remove osd.0
   [heat-admin@overcloud-controller-0 ~]$ sudo docker exec ceph-mon-<HOSTNAME> ceph osd crush remove osd.1

8. OSD 인증 키를 제거합니다.

   [heat-admin@overcloud-controller-0 ~]$ sudo docker exec ceph-mon-<HOSTNAME> ceph auth del osd.0
   [heat-admin@overcloud-controller-0 ~]$ sudo docker exec ceph-mon-<HOSTNAME> ceph auth del osd.1

9. 클러스터에서 OSD를 제거합니다.

   [heat-admin@overcloud-controller-0 ~]$ sudo docker exec ceph-mon-<HOSTNAME> ceph osd rm 0
   [heat-admin@overcloud-controller-0 ~]$ sudo docker exec ceph-mon-<HOSTNAME> ceph osd rm 1

10. CRUSH 맵에서 스토리지 노드를 제거합니다.

    [heat-admin@overcloud-controller-0 ~]$ sudo docker exec ceph-mon-<HOSTNAME> ceph osd crush rm <NODE>
    [heat-admin@overcloud-controller-0 ~]$ sudo ceph osd crush remove <NODE>

    CRUSH 트리를 검색하여 CRUSH 맵에 정의된 <NODE> 이름을 확인할 수 있습니다.

    [heat-admin@overcloud-controller-0 ~]$ sudo docker exec ceph-mon-<HOSTNAME> ceph osd crush tree | grep overcloud-osd-compute-3 -A 4
                    "name": "overcloud-osd-compute-3",
                    "type": "host",
                    "type_id": 1,
                    "items": []
                },
    [heat-admin@overcloud-controller-0 ~]$

    CRUSH 트리에서 항목 목록이 비어 있는지 확인합니다. 목록이 비어 있지 않으면 7단계로 이동합니다.

11. 노드를 종료하고 stack 사용자로 언더클라우드로 돌아갑니다.

    [heat-admin@overcloud-controller-0 ~]$ exit
    [stack@director ~]$

12. director가 다시 프로비저닝하지 않도록 Ceph Storage 노드를 비활성화합니다.

    [stack@director ~]$ openstack baremetal node list
    [stack@director ~]$ openstack baremetal node maintenance set UUID

13. Ceph Storage 노드를 삭제하려면 로컬 템플릿 파일을 사용하여 director의 오버클라우드 스택을 업데이트해야 합니다. 먼저 오버클라우드 스택의 UUID를 확인합니다.

    $ openstack stack list

14. 삭제하려는 Ceph Storage 노드의 UUID를 확인합니다.

    $ openstack server list

15. 스택에서 노드를 삭제하고 그에 따라 계획을 업데이트합니다.

    중요

    오버클라우드를 생성할 때 추가 환경 파일을 전달한 경우 -e 옵션을 사용하여 오버클라우드를 원하지 않는 변경을 수행하지 않도록 여기에서 다시 전달합니다. 자세한 내용은 Director 설치 및 사용 가이드 의 Overcloud 환경 수정 을 참조하십시오.

    $ openstack overcloud node delete /
    --stack <stack-name> /
    --templates /
    -e <other-environment-files> /
    <node_UUID>

16. 스택이 업데이트를 완료할 때까지 기다립니다. heat stack-list --show-nested 명령을 사용하여 스택 업데이트를 모니터링합니다.

17. director 노드 풀에 새 노드를 추가하고 이를 Ceph Storage 노드로 배포합니다. 환경 파일의 parameter_defaults (이 경우 ~/templates/storage-config.yaml )에서 CephStorageCount 매개변수를 사용하여 오버클라우드의 총 Ceph Storage 노드 수를 정의합니다.

    parameter_defaults:
      ControllerCount: 3
      OvercloudControlFlavor: control
      ComputeCount: 3
      OvercloudComputeFlavor: compute
      CephStorageCount: 3
      OvercloudCephStorageFlavor: ceph-storage
      CephMonCount: 3
      OvercloudCephMonFlavor: ceph-mon

    참고

    역할당 노드 수를 정의하는 방법에 대한 자세한 내용은 7.1절. “역할에 노드 및 플레이버 할당” 을 참조하십시오.

18. 환경 파일을 업데이트한 후 오버클라우드를 다시 배포합니다.

    $ openstack overcloud deploy --templates -e <ENVIRONMENT_FILES>

    director는 새 노드를 프로비저닝하고 전체 스택을 새 노드의 세부 정보로 업데이트합니다.

19. 컨트롤러 노드에 heat-admin 사용자로 로그인하고 Ceph Storage 노드의 상태를 확인합니다.

    [heat-admin@overcloud-controller-0 ~]$ sudo ceph status

20. osdmap 섹션의 값이 클러스터의 노드 수와 일치하는지 확인합니다. 제거한 Ceph Storage 노드가 새 노드로 교체됩니다.

1. 다음 heat 템플릿은 3개의 OSD 장치가 있는 Ceph Storage를 배포합니다.

   parameter_defaults:
     CephAnsibleDisksConfig:
       devices:
         - /dev/sdb
         - /dev/sdc
         - /dev/sdd
       osd_scenario: lvm
       osd_objectstore: bluestore

2. OSD를 추가하려면 5.2절. “Ceph Storage 노드 디스크 레이아웃 매핑” 에 설명된 대로 노드 디스크 레이아웃을 업데이트합니다. 이 예제에서는 템플릿에 /dev/sde 를 추가합니다.

   parameter_defaults:
     CephAnsibleDisksConfig:
       devices:
         - /dev/sdb
         - /dev/sdc
         - /dev/sdd
         - /dev/sde
       osd_scenario: lvm
       osd_objectstore: bluestore

3. openstack overcloud deploy 를 실행하여 오버클라우드를 업데이트합니다.

1. ceph-storage0 에 SSH로 연결하고 root 로 로그인합니다.

2. OSD 서비스를 비활성화하고 중지합니다.

   [root@ceph-storage0 ~]# systemctl disable ceph-osd@4
   [root@ceph-stoarge0 ~]# systemctl stop ceph-osd@4

3. ceph-storage0 에서 연결을 끊습니다.
4. controller0 에 SSH로 연결하고 root 로 로그인합니다.

5. Ceph 모니터 컨테이너의 이름을 확인합니다.

   [root@controller0 ~]# docker ps | grep ceph-mon
   ceph-mon-controller0
   [root@controller0 ~]#

6. Ceph 모니터 컨테이너에서 원하지 않는 OSD를 밖 으로 표시하도록 활성화합니다.

   [root@controller0 ~]# docker exec ceph-mon-controller0 ceph osd out 4

   참고

   이 명령을 사용하면 Ceph가 스토리지 클러스터를 재조정하고 클러스터의 다른 OSD에 데이터를 복사합니다. 클러스터는 리밸런싱이 완료될 때까지 활성+clean 상태를 일시적으로 유지합니다.

7. 다음 명령을 실행하고 스토리지 클러스터 상태가 active+clean 이 될 때까지 기다립니다.

   [root@controller0 ~]# docker exec ceph-mon-controller0 ceph -w

8. CRUSH 맵에서 OSD를 제거하여 더 이상 데이터를 수신하지 않도록 합니다.

   [root@controller0 ~]# docker exec ceph-mon-controller0 ceph osd crush remove osd.4

9. OSD 인증 키를 제거합니다.

   [root@controller0 ~]# docker exec ceph-mon-controller0 ceph auth del osd.4

10. OSD를 제거합니다.

    [root@controller0 ~]# docker exec ceph-mon-controller0 ceph osd rm 4

11. controller0 에서 연결을 해제합니다.
12. stack 사용자로 언더클라우드에 SSH로 연결하고 CephAnsibleDisksConfig 매개변수를 정의한 heat 환경 파일을 찾습니다.

13. heat 템플릿에는 4개의 OSD가 포함되어 있습니다.

    parameter_defaults:
      CephAnsibleDisksConfig:
        devices:
          - /dev/sdb
          - /dev/sdc
          - /dev/sdd
          - /dev/sde
        osd_scenario: lvm
        osd_objectstore: bluestore

14. 템플릿을 수정하여 /dev/sde 를 제거합니다.

    parameter_defaults:
      CephAnsibleDisksConfig:
        devices:
          - /dev/sdb
          - /dev/sdc
          - /dev/sdd
        osd_scenario: lvm
        osd_objectstore: bluestore

15. openstack overcloud deploy 를 실행하여 오버클라우드를 업데이트합니다.

    참고

    이 예에서는 OSD가 있는 모든 호스트에서 /dev/sde 장치를 제거했다고 가정합니다. 모든 노드에서 동일한 장치를 제거하지 않으면 표시된 대로 heat 템플릿을 업데이트하고 다른 장치 목록으로 호스트를 정의하는 방법에 대한 정보는 5.2.5절. “디스크 레이아웃을 비Homogeneous Ceph Storage 노드에 매핑” 를 참조하십시오.