ホーム
製品
OpenShift Container Platform
4.17
ハードウェアネットワーク
8.4. TAP CNI を使用したカーネルアクセスでのルートレス DPDK ワークロード実行

8.4. TAP CNI を使用したカーネルアクセスでのルートレス DPDK ワークロード実行

DPDK アプリケーションは、ログメッセージなどの特定の種類のパケットを処理のためにカーネルに挿入するための例外パスとして virtio-user を使用できます。この機能の詳細は、例外パスとしての Virtio_user を参照してください。

OpenShift Container Platform バージョン 4.14 以降では、非権限 Pod を使用して、tap CNI プラグインと一緒に DPDK アプリケーションを実行できます。この機能を有効にするには、SriovNetworkNodePolicy オブジェクト内で needVhostNet パラメーターを true に設定して、vhost-net デバイスをマウントする必要があります。

図8.1 DPDK と TAP の設定例

前提条件

OpenShift CLI (oc) がインストールされている。
SR-IOV Network Operator がインストールされている。
cluster-admin 権限を持つユーザーとしてログインしている。
すべてのノードで setsebools container_use_devices=on が root として設定されていることを確認します。
注記
Machine Config Operator を使用して、この SELinux ブール値を設定します。

手順

次の例のような内容を含むファイル (test-namespace.yaml など) を作成します。

apiVersion: v1
kind: Namespace
metadata:
  name: test-namespace
  labels:
    pod-security.kubernetes.io/enforce: privileged
    pod-security.kubernetes.io/audit: privileged
    pod-security.kubernetes.io/warn: privileged
    security.openshift.io/scc.podSecurityLabelSync: "false"

apiVersion: v1
kind: Namespace
metadata:
  name: test-namespace
  labels:
    pod-security.kubernetes.io/enforce: privileged
    pod-security.kubernetes.io/audit: privileged
    pod-security.kubernetes.io/warn: privileged
    security.openshift.io/scc.podSecurityLabelSync: "false"

Copy to Clipboard

Toggle word wrap

次のコマンドを実行して、Namespace オブジェクトを新規作成します。
```
oc apply -f test-namespace.yaml
```
```
$ oc apply -f test-namespace.yaml
```
Copy to Clipboard Toggle word wrap
次の例のようなコンテンツを含むファイル (sriov-node-network-policy.yaml など) を作成します。
```
apiVersion: sriovnetwork.openshift.io/v1
kind: SriovNetworkNodePolicy
metadata:
 name: sriovnic
 namespace: openshift-sriov-network-operator
spec:
 deviceType: netdevice 
 isRdma: true 
 needVhostNet: true 
 nicSelector:
   vendor: "15b3" 
   deviceID: "101b" 
   rootDevices: ["00:05.0"]
 numVfs: 10
 priority: 99
 resourceName: sriovnic
 nodeSelector:
    feature.node.kubernetes.io/network-sriov.capable: "true"
```
```
apiVersion: sriovnetwork.openshift.io/v1
kind: SriovNetworkNodePolicy
metadata:
 name: sriovnic
 namespace: openshift-sriov-network-operator
spec:
 deviceType: netdevice 
```
1
```
 isRdma: true 
```
2
```
 needVhostNet: true 
```
3
```
 nicSelector:
   vendor: "15b3" 
```
4
```
   deviceID: "101b" 
```
5
```
   rootDevices: ["00:05.0"]
 numVfs: 10
 priority: 99
 resourceName: sriovnic
 nodeSelector:
    feature.node.kubernetes.io/network-sriov.capable: "true"
```
Copy to Clipboard Toggle word wrap
1
これは、プロファイルが Mellanox ネットワークインターフェイスコントローラー (NIC) 専用に調整されていることを示します。
2
isRdma を true に設定する必要があるのは、Mellanox NIC の場合のみです。
3
これにより、/dev/net/tun および /dev/vhost-net デバイスがコンテナーにマウントされ、アプリケーションがタップデバイスを作成し、タップデバイスを DPDK ワークロードに接続できるようになります。
4
SR-IOV ネットワークデバイスのベンダーの 16 進数コード。値 15b3 は Mellanox NIC に関連付けられています。
5
SR-IOV ネットワークデバイスのデバイスの 16 進数コード。
以下のコマンドを実行して SriovNetworkNodePolicy オブジェクトを作成します。
```
oc create -f sriov-node-network-policy.yaml
```
```
$ oc create -f sriov-node-network-policy.yaml
```
Copy to Clipboard Toggle word wrap
次の SriovNetwork オブジェクトを作成し、YAML を sriov-network-attachment.yaml ファイルに保存します。
```
apiVersion: sriovnetwork.openshift.io/v1
kind: SriovNetwork
metadata:
 name: sriov-network
 namespace: openshift-sriov-network-operator
spec:
 networkNamespace: test-namespace
 resourceName: sriovnic
 spoofChk: "off"
 trust: "on"
```
```
apiVersion: sriovnetwork.openshift.io/v1
kind: SriovNetwork
metadata:
 name: sriov-network
 namespace: openshift-sriov-network-operator
spec:
 networkNamespace: test-namespace
 resourceName: sriovnic
 spoofChk: "off"
 trust: "on"
```
Copy to Clipboard Toggle word wrap
注記
SriovNetwork の各オプションに関する詳細は、「SR-IOV の追加ネットワークの設定」セクションを参照してください。
オプションのライブラリー app-netutil は、コンテナーの親 Pod に関するネットワーク情報を収集するための複数の API メソッドを提供します。
以下のコマンドを実行して、SriovNetwork オブジェクトを作成します。
```
oc create -f sriov-network-attachment.yaml
```
```
$ oc create -f sriov-network-attachment.yaml
```
Copy to Clipboard Toggle word wrap

次の例のような内容を含む、ネットワーク割り当て定義を指定するファイル (tap-example.yaml など) を作成します。

apiVersion: "k8s.cni.cncf.io/v1"
kind: NetworkAttachmentDefinition
metadata:
 name: tap-one
 namespace: test-namespace 
spec:
 config: '{
   "cniVersion": "0.4.0",
   "name": "tap",
   "plugins": [
     {
        "type": "tap",
        "multiQueue": true,
        "selinuxcontext": "system_u:system_r:container_t:s0"
     },
     {
       "type":"tuning",
       "capabilities":{
         "mac":true
       }
     }
   ]
 }'

apiVersion: "k8s.cni.cncf.io/v1"
kind: NetworkAttachmentDefinition
metadata:
 name: tap-one
 namespace: test-namespace


spec:
 config: '{
   "cniVersion": "0.4.0",
   "name": "tap",
   "plugins": [
     {
        "type": "tap",
        "multiQueue": true,
        "selinuxcontext": "system_u:system_r:container_t:s0"
     },
     {
       "type":"tuning",
       "capabilities":{
         "mac":true
       }
     }
   ]
 }'

Copy to Clipboard

Toggle word wrap

1: SriovNetwork オブジェクトが作成されるのと同じ target_namespace を指定します。

次のコマンドを実行して、NetworkAttachmentDefinition オブジェクトを作成します。
```
oc apply -f tap-example.yaml
```
```
$ oc apply -f tap-example.yaml
```
Copy to Clipboard Toggle word wrap
次の例のような内容を含むファイル (dpdk-pod-rootless.yaml など) を作成します。
```
apiVersion: v1
kind: Pod
metadata:
  name: dpdk-app
  namespace: test-namespace 
  annotations:
    k8s.v1.cni.cncf.io/networks: '[
      {"name": "sriov-network", "namespace": "test-namespace"},
      {"name": "tap-one", "interface": "ext0", "namespace": "test-namespace"}]'
spec:
  nodeSelector:
    kubernetes.io/hostname: "worker-0"
  securityContext:
      fsGroup: 1001 
      runAsGroup: 1001 
      seccompProfile:
        type: RuntimeDefault
  containers:
  - name: testpmd
    image: <DPDK_image> 
    securityContext:
      capabilities:
        drop: ["ALL"] 
        add: 
          - IPC_LOCK
          - NET_RAW #for mlx only 
      runAsUser: 1001 
      privileged: false 
      allowPrivilegeEscalation: true 
      runAsNonRoot: true 
    volumeMounts:
    - mountPath: /mnt/huge 
      name: hugepages
    resources:
      limits:
        openshift.io/sriovnic: "1" 
        memory: "1Gi"
        cpu: "4" 
        hugepages-1Gi: "4Gi" 
      requests:
        openshift.io/sriovnic: "1"
        memory: "1Gi"
        cpu: "4"
        hugepages-1Gi: "4Gi"
    command: ["sleep", "infinity"]
  runtimeClassName: performance-cnf-performanceprofile 
  volumes:
  - name: hugepages
    emptyDir:
      medium: HugePages
```
```
apiVersion: v1
kind: Pod
metadata:
  name: dpdk-app
  namespace: test-namespace 
```
1
```
  annotations:
    k8s.v1.cni.cncf.io/networks: '[
      {"name": "sriov-network", "namespace": "test-namespace"},
      {"name": "tap-one", "interface": "ext0", "namespace": "test-namespace"}]'
spec:
  nodeSelector:
    kubernetes.io/hostname: "worker-0"
  securityContext:
      fsGroup: 1001 
```
2
```
      runAsGroup: 1001 
```
3
```
      seccompProfile:
        type: RuntimeDefault
  containers:
  - name: testpmd
    image: <DPDK_image> 
```
4
```
    securityContext:
      capabilities:
        drop: ["ALL"] 
```
5
```
        add: 
```
6
```
          - IPC_LOCK
          - NET_RAW #for mlx only 
```
7
```
      runAsUser: 1001 
```
8
```
      privileged: false 
```
9
```
      allowPrivilegeEscalation: true 
```
10
```
      runAsNonRoot: true 
```
11
```
    volumeMounts:
    - mountPath: /mnt/huge 
```
12
```
      name: hugepages
    resources:
      limits:
        openshift.io/sriovnic: "1" 
```
13
```
        memory: "1Gi"
        cpu: "4" 
```
14
```
        hugepages-1Gi: "4Gi" 
```
15
```
      requests:
        openshift.io/sriovnic: "1"
        memory: "1Gi"
        cpu: "4"
        hugepages-1Gi: "4Gi"
    command: ["sleep", "infinity"]
  runtimeClassName: performance-cnf-performanceprofile 
```
16
```
  volumes:
  - name: hugepages
    emptyDir:
      medium: HugePages
```
Copy to Clipboard Toggle word wrap
1
SriovNetwork オブジェクトが作成されるのと同じ target_namespace を指定します。Pod を別の namespace に作成する場合は、target_namespace を Pod 仕様と SriovNetwork オブジェクトの両方で変更します。
2
ボリュームにマウントされたディレクトリーおよびそれらのボリューム内に作成されたファイルのグループ所有権を設定します。
3
コンテナーの実行に使用するプライマリーグループ ID を指定します。
4
アプリケーションを含む DPDK イメージとアプリケーションで使用される DPDK ライブラリーを指定します。
5
コンテナーの securityContext からすべての機能 (ALL) を削除すると、通常の操作に必要とされる権限以上の権限がコンテナーからなくなります。
6
hugepage の割り当て、システムリソースの割り当て、およびネットワークインターフェイスアクセス用のコンテナー内のアプリケーションに必要な追加機能を指定します。これらの機能は、setcap コマンドを使用してバイナリーファイルでも設定する必要があります。
7
Mellanox ネットワークインターフェイスコントローラー (NIC) には、NET_RAW 機能が必要です。
8
コンテナーの実行に使用するユーザー ID を指定します。
9
この設定で、Pod 内のコンテナー (複数可) にホストシステムへの権限アクセスを許可しないように指定します。
10
この設定を使用すると、コンテナーは、割り当てられている初期の root 以外の権限を超えて権限を昇格できます。
11
また、この設定により、コンテナーは root 以外のユーザーで実行されます。これにより、最小権限の原則が適用され、コンテナーが不正アクセスされる可能性を最小限に抑えるとともに、攻撃対象領域を減少させます。
12
hugepage ボリュームを /mnt/huge の下の DPDK Pod にマウントします。hugepage ボリュームは、メディアが Hugepages に指定されている emptyDir ボリュームタイプでサポートされます。
13
オプション: DPDK Pod に割り当てられる DPDK デバイスの数を指定します。このリソース要求および制限は、明示的に指定されていない場合、SR-IOV ネットワークリソースインジェクターによって自動的に追加されます。SR-IOV ネットワークリソースインジェクターは、SR-IOV Operator によって管理される受付コントローラーコンポーネントです。これはデフォルトで有効にされており、デフォルト SriovOperatorConfig CR で enableInjector オプションを false に設定して無効にすることができます。
14
CPU の数を指定します。DPDK Pod には通常、kubelet から排他的 CPU を割り当てる必要があります。これは、CPU マネージャーポリシーを static に設定し、Guaranteed QoS を持つ Pod を作成して実行されます。
15
hugepage サイズ hugepages-1Gi または hugepages-2Mi を指定し、DPDK Pod に割り当てられる hugepage の量を指定します。2Mi および 1Gi hugepage を別々に設定します。1Gi hugepage を設定するには、カーネル引数をノードに追加する必要があります。たとえば、カーネル引数 default_hugepagesz=1GB、hugepagesz=1G および hugepages=16 を追加すると、16*1Gi hugepage がシステムの起動時に割り当てられます。
16
パフォーマンスプロファイルの名前が cnf-performance profile でない場合は、その文字列を正しいパフォーマンスプロファイル名に置き換えます。
以下のコマンドを実行して DPDK Pod を作成します。
```
oc create -f dpdk-pod-rootless.yaml
```
```
$ oc create -f dpdk-pod-rootless.yaml
```
Copy to Clipboard Toggle word wrap

トップに戻る

8.4. TAP CNI を使用したカーネルアクセスでのルートレス DPDK ワークロード実行

詳細情報

試用、購入および販売

コミュニティー

Red Hat ドキュメントについて

多様性を受け入れるオープンソースの強化

会社概要

Theme

Red Hat legal and privacy links

Red Hat legal and privacy links