7.9. 컨테이너의 sysctl 사용

프로세스

1. 다음 명령을 실행하여 사전 정의된 기존 목록을 확인합니다.

   $ oc get cm -n openshift-multus cni-sysctl-allowlist -oyaml

   예상 출력

   apiVersion: v1
   data:
     allowlist.conf: |-
       ^net.ipv4.conf.IFNAME.accept_redirects$
       ^net.ipv4.conf.IFNAME.accept_source_route$
       ^net.ipv4.conf.IFNAME.arp_accept$
       ^net.ipv4.conf.IFNAME.arp_notify$
       ^net.ipv4.conf.IFNAME.disable_policy$
       ^net.ipv4.conf.IFNAME.secure_redirects$
       ^net.ipv4.conf.IFNAME.send_redirects$
       ^net.ipv6.conf.IFNAME.accept_ra$
       ^net.ipv6.conf.IFNAME.accept_redirects$
       ^net.ipv6.conf.IFNAME.accept_source_route$
       ^net.ipv6.conf.IFNAME.arp_accept$
       ^net.ipv6.conf.IFNAME.arp_notify$
       ^net.ipv6.neigh.IFNAME.base_reachable_time_ms$
       ^net.ipv6.neigh.IFNAME.retrans_time_ms$
   kind: ConfigMap
   metadata:
     annotations:
       kubernetes.io/description: |
         Sysctl allowlist for nodes.
       release.openshift.io/version: 4.16.0-0.nightly-2022-11-16-003434
     creationTimestamp: "2022-11-17T14:09:27Z"
     name: cni-sysctl-allowlist
     namespace: openshift-multus
     resourceVersion: "2422"
     uid: 96d138a3-160e-4943-90ff-6108fa7c50c3

2. 다음 명령을 사용하여 목록을 편집합니다.

   $ oc edit cm -n openshift-multus cni-sysctl-allowlist -oyaml

   예를 들어 엄격한 역방향 경로 전달을 구현할 수 있도록 하려면 다음과 같이 ^net.ipv4.conf.IFNAME.rp_filter$ 및 ^net.ipv6.conf.IFNAME.rp_filter$ 를 추가해야 합니다.

   # Please edit the object below. Lines beginning with a '#' will be ignored,
   # and an empty file will abort the edit. If an error occurs while saving this file will be
   # reopened with the relevant failures.
   #
   apiVersion: v1
   data:
     allowlist.conf: |-
       ^net.ipv4.conf.IFNAME.accept_redirects$
       ^net.ipv4.conf.IFNAME.accept_source_route$
       ^net.ipv4.conf.IFNAME.arp_accept$
       ^net.ipv4.conf.IFNAME.arp_notify$
       ^net.ipv4.conf.IFNAME.disable_policy$
       ^net.ipv4.conf.IFNAME.secure_redirects$
       ^net.ipv4.conf.IFNAME.send_redirects$
       ^net.ipv4.conf.IFNAME.rp_filter$
       ^net.ipv6.conf.IFNAME.accept_ra$
       ^net.ipv6.conf.IFNAME.accept_redirects$
       ^net.ipv6.conf.IFNAME.accept_source_route$
       ^net.ipv6.conf.IFNAME.arp_accept$
       ^net.ipv6.conf.IFNAME.arp_notify$
       ^net.ipv6.neigh.IFNAME.base_reachable_time_ms$
       ^net.ipv6.neigh.IFNAME.retrans_time_ms$
       ^net.ipv6.conf.IFNAME.rp_filter$

3. 변경 사항을 파일에 저장하고 종료합니다.

   참고

   sysctl 제거도 지원됩니다. 파일을 편집하고 sysctl 또는 sysctl 을 제거한 다음 변경 사항을 저장하고 종료합니다.

1. 다음 콘텐츠를 사용하여 reverse-path-fwd-example.yaml 과 같은 네트워크 연결 정의를 생성합니다.

   apiVersion: "k8s.cni.cncf.io/v1"
   kind: NetworkAttachmentDefinition
   metadata:
     name: tuningnad
     namespace: default
   spec:
     config: '{
       "cniVersion": "0.4.0",
       "name": "tuningnad",
       "plugins": [{
         "type": "bridge"
         },
         {
         "type": "tuning",
         "sysctl": {
            "net.ipv4.conf.IFNAME.rp_filter": "1"
           }
       }
     ]
   }'

2. 다음 명령을 실행하여 yaml을 적용합니다.

   $ oc apply -f reverse-path-fwd-example.yaml

   출력 예

   networkattachmentdefinition.k8.cni.cncf.io/tuningnad created

3. 다음 YAML을 사용하여 examplepod.yaml 과 같은 Pod를 생성합니다.

   apiVersion: v1
   kind: Pod
   metadata:
     name: example
     labels:
       app: httpd
     namespace: default
     annotations:
       k8s.v1.cni.cncf.io/networks: tuningnad  1
   spec:
     securityContext:
       runAsNonRoot: true
       seccompProfile:
         type: RuntimeDefault
     containers:
       - name: httpd
         image: 'image-registry.openshift-image-registry.svc:5000/openshift/httpd:latest'
         ports:
           - containerPort: 8080
         securityContext:
           allowPrivilegeEscalation: false
           capabilities:
             drop:
               - ALL

   1

   구성된 NetworkAttachmentDefinition 의 이름을 지정합니다.

4. 다음 명령을 실행하여 yaml을 적용합니다.

   $ oc apply -f examplepod.yaml

5. 다음 명령을 실행하여 Pod가 생성되었는지 확인합니다.

   $ oc get pod

   출력 예

   NAME      READY   STATUS    RESTARTS   AGE
   example   1/1     Running   0          47s

6. 다음 명령을 실행하여 Pod에 로그인합니다.

   $ oc rsh example

7. 구성된 sysctl 플래그의 값을 확인합니다. 예를 들어 다음 명령을 실행하여 net.ipv4.conf.net1.rp_filter 값을 찾습니다.

   sh-4.4# sysctl net.ipv4.conf.net1.rp_filter

   예상 출력

   net.ipv4.conf.net1.rp_filter = 1

프로세스

1. 다음 예와 같이 예제 Pod를 정의하는 YAML 파일 sysctl_pod.yaml 을 생성하고 securityContext 사양을 추가합니다.

   apiVersion: v1
   kind: Pod
   metadata:
     name: sysctl-example
     namespace: default
   spec:
     containers:
     - name: podexample
       image: centos
       command: ["bin/bash", "-c", "sleep INF"]
       securityContext:
         runAsUser: 2000 1
         runAsGroup: 3000 2
         allowPrivilegeEscalation: false 3
         capabilities: 4
           drop: ["ALL"]
     securityContext:
       runAsNonRoot: true 5
       seccompProfile: 6
         type: RuntimeDefault
       sysctls:
       - name: kernel.shm_rmid_forced
         value: "1"
       - name: net.ipv4.ip_local_port_range
         value: "32770       60666"
       - name: net.ipv4.tcp_syncookies
         value: "0"
       - name: net.ipv4.ping_group_range
         value: "0           200000000"

   1

   runAsUser 는 컨테이너가 실행되는 사용자 ID를 제어합니다.

   2

   runAsGroup 은 컨테이너가 실행되는 기본 그룹 ID를 제어합니다.

   3

   allowPrivilegeEscalation 은 Pod에서 권한 에스컬레이션을 허용하도록 요청할 수 있는지 여부를 결정합니다. 지정되지 않은 경우 기본값은 true입니다. 이 부울은 no_new_privs 플래그가 컨테이너 프로세스에 설정되는지 여부를 직접 제어합니다.

   4

   기능을 사용하면 전체 root 액세스 권한을 부여하지 않고 권한 있는 작업을 수행할 수 있습니다. 이 정책은 모든 기능이 Pod에서 삭제되도록 합니다.

   5

   runAsNonRoot: true 를 사용하려면 컨테이너가 0 이외의 UID가 있는 사용자로 실행해야 합니다.

   6

   RuntimeDefault 는 Pod 또는 컨테이너 워크로드에 대한 기본 seccomp 프로필을 활성화합니다.

2. 다음 명령을 실행하여 Pod를 생성합니다.

   $ oc apply -f sysctl_pod.yaml

3. 다음 명령을 실행하여 Pod가 생성되었는지 확인합니다.

   $ oc get pod

   출력 예

   NAME              READY   STATUS            RESTARTS   AGE
   sysctl-example    1/1     Running           0          14s

4. 다음 명령을 실행하여 Pod에 로그인합니다.

   $ oc rsh sysctl-example

5. 구성된 sysctl 플래그의 값을 확인합니다. 예를 들어 다음 명령을 실행하여 kernel.shm_rmid_forced 값을 찾습니다.

   sh-4.4# sysctl kernel.shm_rmid_forced

   예상 출력

   kernel.shm_rmid_forced = 1

프로세스

1. 다음 예와 같이 예제 Pod를 정의하는 YAML 파일 sysctl-example-unsafe.yaml 을 생성하고 securityContext 사양을 추가합니다.

   apiVersion: v1
   kind: Pod
   metadata:
     name: sysctl-example-unsafe
   spec:
     containers:
     - name: podexample
       image: centos
       command: ["bin/bash", "-c", "sleep INF"]
       securityContext:
         runAsUser: 2000
         runAsGroup: 3000
         allowPrivilegeEscalation: false
         capabilities:
           drop: ["ALL"]
     securityContext:
       runAsNonRoot: true
       seccompProfile:
         type: RuntimeDefault
       sysctls:
       - name: kernel.shm_rmid_forced
         value: "0"
       - name: net.core.somaxconn
         value: "1024"
       - name: kernel.msgmax
         value: "65536"

2. 다음 명령을 사용하여 Pod를 생성합니다.

   $ oc apply -f sysctl-example-unsafe.yaml

3. 다음 명령을 사용하여 노드에 안전하지 않은 sysctl이 허용되지 않으므로 Pod가 예약되었지만 배포되지 않았는지 확인합니다.

   $ oc get pod

   출력 예

   NAME                       READY             STATUS            RESTARTS   AGE
   sysctl-example-unsafe      0/1               SysctlForbidden   0          14s

프로세스

1. OpenShift Container Platform 클러스터의 기존 MachineConfig 개체를 나열하여 다음 명령을 실행하여 머신 구성에 레이블을 지정하는 방법을 결정합니다.

   $ oc get machineconfigpool

   출력 예

   NAME     CONFIG                                             UPDATED   UPDATING   DEGRADED   MACHINECOUNT   READYMACHINECOUNT   UPDATEDMACHINECOUNT   DEGRADEDMACHINECOUNT   AGE
   master   rendered-master-bfb92f0cd1684e54d8e234ab7423cc96   True      False      False      3              3                   3                     0                      42m
   worker   rendered-worker-21b6cb9a0f8919c88caf39db80ac1fce   True      False      False      3              3                   3                     0                      42m

2. 안전하지 않은 sysctl이 있는 컨테이너가 다음 명령을 실행하여 실행되는 머신 구성 풀에 레이블을 추가합니다.

   $ oc label machineconfigpool worker custom-kubelet=sysctl

3. KubeletConfig CR(사용자 정의 리소스)을 정의하는 YAML 파일 set-sysctl-worker.yaml 을 생성합니다.

   apiVersion: machineconfiguration.openshift.io/v1
   kind: KubeletConfig
   metadata:
     name: custom-kubelet
   spec:
     machineConfigPoolSelector:
       matchLabels:
         custom-kubelet: sysctl 1
     kubeletConfig:
       allowedUnsafeSysctls: 2
         - "kernel.msg*"
         - "net.core.somaxconn"

   1

   머신 구성 풀에서 라벨을 지정합니다.

   2

   허용할 안전하지 않은 sysctl을 나열합니다.

4. 다음 명령을 실행하여 오브젝트를 생성합니다.

   $ oc apply -f set-sysctl-worker.yaml

5. Machine Config Operator가 새로 렌더링된 구성을 생성하고 다음 명령을 실행하여 머신에 적용할 때까지 기다립니다.

   $ oc get machineconfigpool worker -w

   잠시 후 UPDATING 상태가 True에서 False로 변경됩니다.

   NAME     CONFIG                                             UPDATED   UPDATING   DEGRADED   MACHINECOUNT   READYMACHINECOUNT   UPDATEDMACHINECOUNT   DEGRADEDMACHINECOUNT   AGE
   worker   rendered-worker-f1704a00fc6f30d3a7de9a15fd68a800   False     True       False      3              2                   2                     0                      71m
   worker   rendered-worker-f1704a00fc6f30d3a7de9a15fd68a800   False     True       False      3              2                   3                     0                      72m
   worker   rendered-worker-0188658afe1f3a183ec8c4f14186f4d5   True      False      False      3              3                   3                     0                      72m

6. 다음 예와 같이 예제 Pod를 정의하는 YAML 파일 sysctl-example-safe-unsafe.yaml 을 생성합니다.

   apiVersion: v1
   kind: Pod
   metadata:
     name: sysctl-example-safe-unsafe
   spec:
     containers:
     - name: podexample
       image: centos
       command: ["bin/bash", "-c", "sleep INF"]
       securityContext:
         runAsUser: 2000
         runAsGroup: 3000
         allowPrivilegeEscalation: false
         capabilities:
           drop: ["ALL"]
     securityContext:
       runAsNonRoot: true
       seccompProfile:
         type: RuntimeDefault
       sysctls:
       - name: kernel.shm_rmid_forced
         value: "0"
       - name: net.core.somaxconn
         value: "1024"
       - name: kernel.msgmax
         value: "65536"

7. 다음 명령을 실행하여 Pod를 생성합니다.

   $ oc apply -f sysctl-example-safe-unsafe.yaml

   예상 출력

   Warning: would violate PodSecurity "restricted:latest": forbidden sysctls (net.core.somaxconn, kernel.msgmax)
   pod/sysctl-example-safe-unsafe created

8. 다음 명령을 실행하여 Pod가 생성되었는지 확인합니다.

   $ oc get pod

   출력 예

   NAME                         READY   STATUS    RESTARTS   AGE
   sysctl-example-safe-unsafe   1/1     Running   0          19s

9. 다음 명령을 실행하여 Pod에 로그인합니다.

   $ oc rsh sysctl-example-safe-unsafe

10. 구성된 sysctl 플래그의 값을 확인합니다. 예를 들어 다음 명령을 실행하여 net.core.somaxconn 값을 찾습니다.

    sh-4.4# sysctl net.core.somaxconn

    예상 출력

    net.core.somaxconn = 1024