7.9. 컨테이너의 sysctl 사용
sysctl 설정은 Kubernetes를 통해 노출되므로 사용자가 런타임에 특정 커널 매개변수를 수정할 수 있습니다. 네임스페이스가 지정된 sysctl만 Pod에 독립적으로 설정할 수 있습니다. sysctl에 노드 수준 이라는 네임스페이스가 지정되지 않은 경우 Node Tuning Operator를 사용하여 와 같은 sysctl을 설정하는 다른 방법을 사용해야 합니다.
네트워크 sysctl은 sysctl의 특수 범주입니다. 네트워크 sysctl은 다음과 같습니다.
-
시스템 전체 sysctl(예:
net.ipv4.ip_local_port_range
)은 모든 네트워킹에 유효합니다. 노드의 각 Pod에 대해 개별적으로 이러한 값을 설정할 수 있습니다. -
지정된 Pod의 특정 추가 네트워크 인터페이스에만 적용되는 인터페이스별 sysctl(예:
net.ipv4.conf.IFNAME.accept_local
)입니다. 각 추가 네트워크 구성에 대해 독립적으로 설정할 수 있습니다. 네트워크 인터페이스가 생성된 후tuning-cni
의 구성을 사용하여 이러한 설정을 설정합니다.
또한 기본적으로 안전한 것으로 간주되는 sysctl만 허용 목록에 포함됩니다. 노드의 다른 안전하지 않은 sysctl을 사용자에게 제공하도록 수동으로 활성화할 수 있습니다.
추가 리소스
7.9.1. sysctl 정보
Linux에서 sysctl 인터페이스를 사용하면 관리자가 런타임에 커널 매개변수를 수정할 수 있습니다. 매개변수는 /proc/sys/
가상 프로세스 파일 시스템에서 사용할 수 있습니다. 해당 매개변수는 다음과 같이 다양한 하위 시스템에 적용됩니다.
-
kernel(공용 접두사:
kernel.
) -
네트워킹(공용 접두사:
net.
) -
가상 메모리(공용 접두사:
vm.
) -
MDADM(공용 접두사:
dev.
)
커널 설명서에 더 많은 하위 시스템이 설명되어 있습니다. 모든 매개변수 목록을 가져오려면 다음을 실행합니다.
$ sudo sysctl -a
7.9.2. 네임스페이스 및 노드 수준 sysctls
대다수의 sysctl은 Linux 커널에 네임스페이스가 지정됩니다. 즉 노드의 각 Pod에 개별적으로 설정할 수 있습니다. Kubernetes 내의 Pod 컨텍스트에서 sysctl에 액세스하려면 네임스페이스를 지정해야 합니다.
다음 sysctl은 네임스페이스로 알려져 있습니다.
-
kernel.shm*
-
kernel.msg*
-
kernel.sem
-
fs.mqueue.*
또한 net.*
그룹의 대부분의 sysctl은 네임스페이스로 알려져 있습니다. 해당 네임스페이스 채택은 커널 버전 및 배포자에 따라 다릅니다.
네임스페이스가 지정되지 않은 sysctl은 노드 수준 이라고 하며 노드의 기본 Linux 배포(예: /etc/sysctls.conf
파일을 수정하거나 권한 있는 컨테이너에 데몬 세트를 사용하여) 클러스터 관리자가 수동으로 설정해야 합니다. Node Tuning Operator를 사용하여 노드 수준 sysctl을 설정할 수 있습니다.
특수 sysctl이 있는 노드를 테인트로 표시하는 것이 좋습니다. 이러한 sysctl 설정이 필요한 노드에만 Pod를 예약하십시오. 테인트 및 허용 오차 기능을 사용하여 노드를 표시합니다.
7.9.3. 안전한 sysctl 및 안전하지 않은 sysctl
sysctl은 안전한 sysctl 및 안전하지 않은 sysctl로 그룹화됩니다.
시스템 전체 sysctl을 안전한 것으로 간주하려면 네임스페이스를 지정해야 합니다. 네임스페이스가 지정된 sysctl을 사용하면 네임스페이스와 Pod 간에 격리됩니다. 하나의 Pod에 sysctl을 설정하는 경우 다음 항목을 추가할 수 없습니다.
- 노드의 다른 Pod에 영향을 미침
- 노드 상태 손상
- Pod의 리소스 제한을 벗어나는 CPU 또는 메모리 리소스 확보
sysctl이 안전한 것으로 간주되기 위해서는 네임스페이스만으로는 충분하지 않습니다.
OpenShift Container Platform의 허용 목록에 추가되지 않은 sysctl은 OpenShift Container Platform에서 안전하지 않은 것으로 간주됩니다.
안전하지 않은 sysctl은 기본적으로 허용되지 않습니다. 시스템 전체 sysctl의 경우 클러스터 관리자가 노드별로 수동으로 활성화해야 합니다. 안전하지 않은 sysctl이 비활성화된 Pod는 예약은 되지만 시작되지 않습니다.
인터페이스별 안전하지 않은 sysctl을 수동으로 활성화할 수 없습니다.
OpenShift Container Platform은 다음과 같은 시스템 수준 및 인터페이스 관련 안전한 sysctl을 허용된 안전 목록에 추가합니다.
sysctl | 설명 |
---|---|
|
|
|
TCP 및 UDP에서 로컬 포트를 선택하는 데 사용하는 로컬 포트 범위를 정의합니다. 첫 번째 숫자는 첫 번째 포트 번호이고 두 번째 숫자는 마지막 로컬 포트 번호입니다. 가능한 경우 이 숫자에 다른 패리티(하나 및 1 홀수 값)가 있는 경우 더 좋습니다. |
|
|
|
이렇게 하면 |
|
이는 네트워크 네임스페이스에서 권한이 없는 첫 번째 포트를 정의합니다. 권한 있는 모든 포트를 비활성화하려면 이를 |
sysctl | 설명 |
---|---|
| IPv4 ICMP 리디렉션 메시지를 수락합니다. |
| 엄격한 소스 경로(SRR) 옵션을 사용하여 IPv4 패킷을 수락합니다. |
| ARP 표에 없는 IPv4 주소를 사용하여 무독한 ARP 프레임에 대한 동작을 정의합니다.
|
| IPv4 주소 및 장치 변경 사항에 대한 알림 모드를 정의합니다. |
| 이 IPv4 인터페이스에 대해 IPSEC 정책(SPD)을 비활성화합니다. |
| ICMP는 인터페이스의 현재 게이트웨이 목록에 나열된 게이트웨이로만 메시지를 리디렉션합니다. |
| send redirects는 노드가 라우터 역할을 하는 경우에만 활성화됩니다. 즉 호스트는 ICMP 리디렉션 메시지를 보낼 수 없습니다. 라우터에서 호스트에 특정 대상에 사용 가능한 더 나은 라우팅 경로를 알리는 데 사용됩니다. |
| IPv6 라우터 알림을 수락하고 이를 사용하여 자동으로 구성합니다. 또한 라우터 요청을 전송할지 여부를 결정합니다. 라우터 요청은 기능 설정이 라우터 알림을 수락하는 경우에만 전송됩니다. |
| IPv6 ICMP 리디렉션 메시지를 수락합니다. |
| SRR 옵션을 사용하여 IPv6 패킷을 수락합니다. |
| ARP 표에 없는 IPv6 주소를 사용하여 무독한 ARP 프레임에 대한 동작을 정의합니다.
|
| IPv6 주소 및 장치 변경 사항에 대한 알림 모드를 정의합니다. |
| 이 매개 변수는 IPv6용 주변 테이블에서 IP 매핑 수명에 대한 하드웨어 주소를 제어합니다. |
| 주변 검색 메시지의 다시 전송 타이머를 설정합니다. |
튜닝
CNI 플러그인을 사용하여 이러한 값을 설정할 때 문자 그대로 IFNAME
값을 사용합니다. 인터페이스 이름은 IFNAME
토큰으로 표시되고 런타임 시 인터페이스의 실제 이름으로 교체됩니다.
추가 리소스
7.9.4. 안전한 sysctl을 사용하여 Pod 시작
Pod의 securityContext
를 사용하여 Pod에 sysctl을 설정할 수 있습니다. securityContext
는 동일한 Pod의 모든 컨테이너에 적용됩니다.
안전한 sysctl은 기본적으로 허용됩니다.
이 예제에서는 Pod securityContext
를 사용하여 다음과 같은 안전한 sysctl을 설정합니다.
-
kernel.shm_rmid_forced
-
net.ipv4.ip_local_port_range
-
net.ipv4.tcp_syncookies
-
net.ipv4.ping_group_range
운영 체제가 불안정해지는 것을 방지하기 위해 sysctl 매개변수 수정이 미치는 영향을 파악한 후에만 수정하십시오.
다음 절차에 따라 설정된 sysctl 설정으로 Pod를 시작합니다.
대부분의 경우 기존 Pod 정의를 수정하고 securityContext
사양을 추가합니다.
프로세스
다음 예와 같이 예제 Pod를 정의하고
securityContext
사양을 추가하는 YAML 파일sysctl_pod.yaml
을 생성합니다.apiVersion: v1 kind: Pod metadata: name: sysctl-example namespace: default spec: containers: - name: podexample image: centos command: ["bin/bash", "-c", "sleep INF"] securityContext: runAsUser: 2000 1 runAsGroup: 3000 2 allowPrivilegeEscalation: false 3 capabilities: 4 drop: ["ALL"] securityContext: runAsNonRoot: true 5 seccompProfile: 6 type: RuntimeDefault sysctls: - name: kernel.shm_rmid_forced value: "1" - name: net.ipv4.ip_local_port_range value: "32770 60666" - name: net.ipv4.tcp_syncookies value: "0" - name: net.ipv4.ping_group_range value: "0 200000000"
- 1
Run
AsUser는 컨테이너가 실행되는 사용자 ID를 제어합니다.- 2
runAsGroup
은 컨테이너가 실행되는 기본 그룹 ID를 제어합니다.- 3
allowPrivilegeEscalation
은 Pod에서 권한 에스컬레이션을 허용하도록 요청할 수 있는지 여부를 결정합니다. 지정되지 않은 경우 기본값은 true입니다. 이 부울은 컨테이너 프로세스에no_new_privs
플래그가 설정되는지 여부를 직접 제어합니다.- 4
기능을
사용하면 전체 루트 액세스 권한을 부여하지 않고 권한 있는 작업을 수행할 수 있습니다. 이 정책은 모든 기능이 Pod에서 삭제되도록 합니다.- 5
runAsNonRoot: true
를 사용하려면 컨테이너가 0이 아닌 다른 UID와 함께 컨테이너를 실행해야 합니다.- 6
RuntimeDefault
는 Pod 또는 컨테이너 워크로드에 대한 기본 seccomp 프로필을 활성화합니다.
다음 명령을 실행하여 Pod를 생성합니다.
$ oc apply -f sysctl_pod.yaml
다음 명령을 실행하여 Pod가 생성되었는지 확인합니다.
$ oc get pod
출력 예
NAME READY STATUS RESTARTS AGE sysctl-example 1/1 Running 0 14s
다음 명령을 실행하여 Pod에 로그인합니다.
$ oc rsh sysctl-example
구성된 sysctl 플래그 값을 확인합니다. 예를 들어 다음 명령을 실행하여
kernel.shm_rmid_forced
값을 찾습니다.sh-4.4# sysctl kernel.shm_rmid_forced
예상 출력
kernel.shm_rmid_forced = 1
7.9.5. 안전하지 않은 sysctl을 사용하여 Pod 시작
안전하지 않은 sysctl이 있는 Pod는 클러스터 관리자가 해당 노드에 대해 안전하지 않은 sysctl을 명시적으로 활성화하지 않는 한 어떠한 노드에서도 시작되지 않습니다. 노드 수준 sysctl과 마찬가지로 노드에 테인트 및 허용 오차 기능을 사용하여 해당 Pod를 올바른 노드에 예약합니다.
다음 예제에서는 Pod securityContext
를 사용하여 안전한 sysctl kernel.shm_rmid_forced
와 안전하지 않은 sysctl인 net.core.somaxconn
및 kernel.msgmax
를 설정합니다. 사양에서는 안전 및 안전하지 않은 sysctl이 구분되지 않습니다.
운영 체제가 불안정해지는 것을 방지하기 위해 sysctl 매개변수 수정이 미치는 영향을 파악한 후에만 수정하십시오.
다음 예제에서는 Pod 사양에 안전 및 안전하지 않은 sysctl을 추가할 때 발생하는 상황을 보여줍니다.
프로세스
다음 예와 같이 예제 Pod를 정의하는 YAML 파일
sysctl-example-unsafe.yaml
을 생성하고securityContext
사양을 추가합니다.apiVersion: v1 kind: Pod metadata: name: sysctl-example-unsafe spec: containers: - name: podexample image: centos command: ["bin/bash", "-c", "sleep INF"] securityContext: runAsUser: 2000 runAsGroup: 3000 allowPrivilegeEscalation: false capabilities: drop: ["ALL"] securityContext: runAsNonRoot: true seccompProfile: type: RuntimeDefault sysctls: - name: kernel.shm_rmid_forced value: "0" - name: net.core.somaxconn value: "1024" - name: kernel.msgmax value: "65536"
다음 명령을 사용하여 Pod를 생성합니다.
$ oc apply -f sysctl-example-unsafe.yaml
안전하지 않은 sysctl이 다음 명령을 사용하여 노드에 허용되지 않으므로 Pod가 예약되었지만 배포되지 않는지 확인합니다.
$ oc get pod
출력 예
NAME READY STATUS RESTARTS AGE sysctl-example-unsafe 0/1 SysctlForbidden 0 14s
7.9.6. 안전하지 않은 sysctl 활성화
클러스터 관리자는 고성능 또는 실시간 애플리케이션 튜닝과 같이 매우 특별한 상황에 대해 안전하지 않은 특정 sysctl을 허용할 수 있습니다.
안전하지 않은 sysctl을 사용하려면 클러스터 관리자가 특정 유형의 노드에 대해 개별적으로 활성화해야 합니다. sysctl에 네임스페이스가 지정되어 있어야 합니다.
보안 컨텍스트 제약 조건의 allowedUnsafeSysctls
필드에 sysctls 목록 또는 sysctl 패턴 목록을 지정하여 Pod에 설정된 sysctl을 추가로 제어할 수 있습니다.
-
allowedUnsafeSysctls
옵션은 고성능 또는 실시간 애플리케이션 튜닝과 같은 특정 요구 사항을 제어합니다.
안전하지 않은 상태의 특성으로 인해 안전하지 않은 sysctl을 사용하는 경우 사용자가 위험을 감수해야 하고 부적절한 컨테이너 동작, 리소스 부족 또는 노드 중단과 같은 심각한 문제가 발생할 수 있습니다.
프로세스
OpenShift Container Platform 클러스터의 기존 MachineConfig 오브젝트를 나열하여 다음 명령을 실행하여 머신 구성에 레이블을 지정하는 방법을 결정합니다.
$ oc get machineconfigpool
출력 예
NAME CONFIG UPDATED UPDATING DEGRADED MACHINECOUNT READYMACHINECOUNT UPDATEDMACHINECOUNT DEGRADEDMACHINECOUNT AGE master rendered-master-bfb92f0cd1684e54d8e234ab7423cc96 True False False 3 3 3 0 42m worker rendered-worker-21b6cb9a0f8919c88caf39db80ac1fce True False False 3 3 3 0 42m
다음 명령을 실행하여 안전하지 않은 sysctl이 있는 컨테이너가 실행될 머신 구성 풀에 레이블을 추가합니다.
$ oc label machineconfigpool worker custom-kubelet=sysctl
KubeletConfig
CR(사용자 정의 리소스)을 정의하는 YAML 파일set-sysctl-worker.yaml
을 생성합니다.apiVersion: machineconfiguration.openshift.io/v1 kind: KubeletConfig metadata: name: custom-kubelet spec: machineConfigPoolSelector: matchLabels: custom-kubelet: sysctl 1 kubeletConfig: allowedUnsafeSysctls: 2 - "kernel.msg*" - "net.core.somaxconn"
다음 명령을 실행하여 오브젝트를 생성합니다.
$ oc apply -f set-sysctl-worker.yaml
Machine Config Operator가 렌더링된 새 구성을 생성하고 다음 명령을 실행하여 머신에 적용할 때까지 기다립니다.
$ oc get machineconfigpool worker -w
잠시 후
UPDATING
상태가 True에서 False로 변경됩니다.NAME CONFIG UPDATED UPDATING DEGRADED MACHINECOUNT READYMACHINECOUNT UPDATEDMACHINECOUNT DEGRADEDMACHINECOUNT AGE worker rendered-worker-f1704a00fc6f30d3a7de9a15fd68a800 False True False 3 2 2 0 71m worker rendered-worker-f1704a00fc6f30d3a7de9a15fd68a800 False True False 3 2 3 0 72m worker rendered-worker-0188658afe1f3a183ec8c4f14186f4d5 True False False 3 3 3 0 72m
다음 예와 같이 예제 Pod를 정의하는 YAML 파일
sysctl-example-safe-unsafe.yaml
을 생성하고securityContext
사양을 추가합니다.apiVersion: v1 kind: Pod metadata: name: sysctl-example-safe-unsafe spec: containers: - name: podexample image: centos command: ["bin/bash", "-c", "sleep INF"] securityContext: runAsUser: 2000 runAsGroup: 3000 allowPrivilegeEscalation: false capabilities: drop: ["ALL"] securityContext: runAsNonRoot: true seccompProfile: type: RuntimeDefault sysctls: - name: kernel.shm_rmid_forced value: "0" - name: net.core.somaxconn value: "1024" - name: kernel.msgmax value: "65536"
다음 명령을 실행하여 Pod를 생성합니다.
$ oc apply -f sysctl-example-safe-unsafe.yaml
예상 출력
Warning: would violate PodSecurity "restricted:latest": forbidden sysctls (net.core.somaxconn, kernel.msgmax) pod/sysctl-example-safe-unsafe created
다음 명령을 실행하여 Pod가 생성되었는지 확인합니다.
$ oc get pod
출력 예
NAME READY STATUS RESTARTS AGE sysctl-example-safe-unsafe 1/1 Running 0 19s
다음 명령을 실행하여 Pod에 로그인합니다.
$ oc rsh sysctl-example-safe-unsafe
구성된 sysctl 플래그 값을 확인합니다. 예를 들어 다음 명령을 실행하여
net.core.somaxconn
값을 찾습니다.sh-4.4# sysctl net.core.somaxconn
예상 출력
net.core.somaxconn = 1024
안전하지 않은 sysctl이 허용되고 업데이트된 Pod 사양의 securityContext
사양에 값이 정의된 대로 설정됩니다.