可伸缩性和性能

流程

1. 打开 AWS 控制台，获取 master 实例。
2. 停止一个 master 实例。
3. 选择已停止的实例，然后点 Actions → Instance Settings → Change instance type。
4. 将实例更改为较大的类型，确保类型与之前选择相同，并应用更改。例如，您可以将 m5.xlarge 更改为 m5.2xlarge 或 m5.4xlarge。
5. 备份实例，再对下一个 master 实例重复上述步骤。

流程

1. 在 web 控制台中，导航到 Compute → Bare Metal Hosts。
2. 选择 Add Host → New with Dialog。
3. 为新的裸机主机指定唯一名称。
4. 设置 引导 MAC 地址。
5. 设置 基板管理控制台（BMC）地址.
6. （可选）为主机启用电源管理。这允许 OpenShift Container Platform 控制主机的电源状态。
7. 输入主机的基板管理控制器（BMC）的用户凭据。
8. 选择在创建后打开主机电源，然后选择 Create。
9. 向上扩展副本数，以匹配可用的裸机主机数量。导航到 Compute → MachineSets，然后从 Actions 下拉菜单中选择 Edit Machine count 来增加集群中的机器副本数量。

流程

1. 在 web 控制台中，导航到 Compute → Bare Metal Hosts。
2. 选择 Add Host → New from YAML。

3. 复制并粘贴以下 YAML，使用您的主机详情修改相关字段：

   apiVersion: metal3.io/v1alpha1
   kind: BareMetalHost
   metadata:
     name: <bare_metal_host_name>
   spec:
     online: true
     bmc:
       address: <bmc_address>
       credentialsName: <secret_credentials_name>  1
       disableCertificateVerification: True
     bootMACAddress: <host_boot_mac_address>
     hardwareProfile: unknown

   1

   credentialsName 必须引用有效的 Secret CR。如果在 credentialsName 中没有引用有效的 Secret，则 baremetal-operator 无法管理裸机主机。如需有关 secret 以及如何创建 secret 的更多信息，请参阅了解 secret。

4. 选择 Create 以保存 YAML 并创建新的裸机主机。

5. 向上扩展副本数，以匹配可用的裸机主机数量。导航到 Compute → MachineSets，然后从 Actions 下拉菜单中选择 Edit Machine count 来增加集群中的机器数量。

   注意

   您还可以使用 oc scale 命令和适当的裸机机器集来管理裸机节点的数量。

流程

1. 通过添加 metal3.io/autoscale-to-hosts 注解来注解您要配置的用于自动扩展的机器集。将 <machineset> 替换为机器集的名称。

   $ oc annotate machineset <machineset> -n openshift-machine-api 'metal3.io/autoscale-to-hosts=<any_value>'

   等待新的缩放计算机启动。

1. 通过标签标记所有需要相同巨页设置的节点。

   $ oc label node <node_using_hugepages> node-role.kubernetes.io/worker-hp=

2. 创建一个包含以下内容的文件，并把它命名为 hugepages_tuning.yaml：

   apiVersion: tuned.openshift.io/v1
   kind: Tuned
   metadata:
     name: hugepages 1
     namespace: openshift-cluster-node-tuning-operator
   spec:
     profile: 2
     - data: |
         [main]
         summary=Boot time configuration for hugepages
         include=openshift-node
         [bootloader]
         cmdline_openshift_node_hugepages=hugepagesz=2M hugepages=50 3
       name: openshift-node-hugepages
   
     recommend:
     - machineConfigLabels: 4
         machineconfiguration.openshift.io/role: "worker-hp"
       priority: 30
       profile: openshift-node-hugepages

   1

   将 Tuned 资源的 name 设置为 hugepages。

   2

   将 profile 部分设置为分配巨页。

   3

   请注意，参数顺序是非常重要的，因为有些平台支持各种大小的巨页。

   4

   启用基于机器配置池的匹配。

3. 创建 Tuned hugepages 配置集

   $ oc create -f hugepages-tuned-boottime.yaml

4. 创建一个带有以下内容的文件，并把它命名为 hugepages-mcp.yaml：

   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfigPool
   metadata:
     name: worker-hp
     labels:
       worker-hp: ""
   spec:
     machineConfigSelector:
       matchExpressions:
         - {key: machineconfiguration.openshift.io/role, operator: In, values: [worker,worker-hp]}
     nodeSelector:
       matchLabels:
         node-role.kubernetes.io/worker-hp: ""

5. 创建机器配置池：

   $ oc create -f hugepages-mcp.yaml

流程

1. 通过完成以下操作，为 Performance Addon Operator 创建命名空间：

   1. 创建用于定义 openshift-performance-addon-operator 命名空间的以下 Namespace 自定义资源（CR），然后在 pao-namespace.yaml 文件中保存 YAML：

      apiVersion: v1
      kind: Namespace
      metadata:
        name: openshift-performance-addon-operator

   2. 运行以下命令创建命名空间：

      $ oc create -f pao-namespace.yaml

2. 通过创建以下对象，在您上一步创建的命名空间中安装 Performance Addon Operator:

   1. 创建以下 OperatorGroup CR，并在 pao-operatorgroup.yaml 文件中保存 YAML:

      apiVersion: operators.coreos.com/v1
      kind: OperatorGroup
      metadata:
        name: openshift-performance-addon-operator
        namespace: openshift-performance-addon-operator
      spec:
        targetNamespaces:
        - openshift-performance-addon-operator

   2. 运行以下命令来创建 OperatorGroup CR:

      $ oc create -f pao-operatorgroup.yaml

   3. 运行以下命令获取下一步所需的 channel 值。

      $ oc get packagemanifest performance-addon-operator -n openshift-marketplace -o jsonpath='{.status.defaultChannel}'

      输出示例

      4.6

   4. 创建以下订阅 CR，并将 YAML 保存到 pao-sub.yaml 文件中：

      订阅示例

      apiVersion: operators.coreos.com/v1alpha1
      kind: Subscription
      metadata:
        name: openshift-performance-addon-operator-subscription
        namespace: openshift-performance-addon-operator
      spec:
        channel: "<channel>" 1
        name: performance-addon-operator
        source: redhat-operators 2
        sourceNamespace: openshift-marketplace

      1

      使用在前一步中获得的值指定 .status.defaultChannel 参数。

      2

      您必须指定 redhat-operators 值。

   5. 运行以下命令创建订阅对象：

      $ oc create -f pao-sub.yaml

   6. 进入 openshift-performance-addon-operator 项目：

      $ oc project openshift-performance-addon-operator

流程

1. 使用 OpenShift Container Platform Web 控制台安装 Performance Addon Operator:

   1. 在 OpenShift Container Platform Web 控制台中，点击 Operators → OperatorHub。
   2. 从可用的 Operator 列表中选择 Performance Addon Operator，然后点 Install。
   3. 在 Install Operator 页面中，在 A specific namespace on the cluster 下选择 openshift-performance-addon-operator。然后点击 Install。

2. 可选：验证 performance-addon-operator 是否已成功安装：

   1. 切换到 Operators → Installed Operators 页面。

   2. 确保 openshift-operators 项目中列出的 Performance Addon Operator 的 Status 为 Succeeded。

      注意

      在安装过程中，Operator 可能会显示 Failed 状态。如果以后安装成功并显示 Succeeded 信息，您可以忽略 Failed 信息。

      如果 Operator 没有被安装，您可以进一步进行故障排除：

      • 进入 Operators → Installed Operators 页面，检查 Operator Subscriptions 和 Install Plans 选项卡中的 Status 项中是否有任何错误。
      • 进入 Workloads → Pods 页面，检查 openshift-operators 项目中的 pod 的日志。

流程

1. 运行以下命令：

   $ oc get csv

2. 查看输出，检查 PHASE 字段。例如：

   VERSION    REPLACES                                         PHASE
   4.6.0      performance-addon-operator.v4.5.0                Installing
   4.5.0                                                       Replacing

3. 再次运行 get csv 以验证输出：

   # oc get csv

   输出示例

   NAME                                DISPLAY                      VERSION   REPLACES                            PHASE
   performance-addon-operator.v4.5.0   Performance Addon Operator   4.6.0     performance-addon-operator.v4.5.0   Succeeded

1. 在集群上安装 Performance Addon Operator。
2. 可选：在 OpenShift Container Platform 集群中添加节点。请参阅设置 BIOS 参数。
3. 使用 oc 命令将标签 worker-rt 添加到需要实时功能的 worker 节点。

4. 为实时节点创建新机器配置池：

   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfigPool
   metadata:
     name: worker-rt
     labels:
       machineconfiguration.openshift.io/role: worker-rt
   spec:
     machineConfigSelector:
       matchExpressions:
         - {
              key: machineconfiguration.openshift.io/role,
              operator: In,
              values: [worker, worker-rt],
           }
     paused: false
     nodeSelector:
       matchLabels:
         node-role.kubernetes.io/worker-rt: ""

   请注意，为具有标签 worker-rt 标签的节点组创建一个机器配置池 worker-rt。

5. 使用节点角色标签将节点添加到正确的机器配置池。

   注意

   您必须决定使用实时工作负载配置哪些节点。您可以配置集群中的所有节点，或配置节点的子集。期望所有节点都是专用机器配置池的一部分的 Performance Addon Operator。如果使用所有节点，您必须将 Performance Addon Operator 指向 worker 节点角色标签。如果使用子集，您必须将节点分组到新机器配置池中。

6. 使用正确的 housekeeping 内核和 realTimeKernel: enabled: true 创建 PerformanceProfile。

7. 您必须在 PerformanceProfile 中设置 MachineConfigPoolSelector ：

     apiVersion: performance.openshift.io/v2
     kind: PerformanceProfile
     metadata:
      name: example-performanceprofile
     spec:
     ...
       realTimeKernel:
         enabled: true
       nodeSelector:
          node-role.kubernetes.io/worker-rt: ""
       machineConfigPoolSelector:
          machineconfiguration.openshift.io/role: worker-rt

8. 验证匹配的机器配置池是否存在一个标签：

   $ oc describe mcp/worker-rt

   输出示例

   Name:         worker-rt
   Namespace:
   Labels:       machineconfiguration.openshift.io/role=worker-rt

9. OpenShift Container Platform 将开始配置节点，这可能涉及多次重启。等待节点处于稳定状态。这个过程所需要的时间取决于您所使用的具体硬件，预计每个节点需要 20 分钟。
10. 验证所有内容是否按预期工作。

流程

1. 创建带有 Guaranteed 类 QoS 类的 pod。
2. 可选：禁用 DPDK 的 CPU 负载均衡。
3. 分配正确的节点选择器。

1. 创建 pod：

   $ oc  apply -f qos-pod.yaml --namespace=qos-example

2. 查看有关 pod 的详细信息：

   $ oc get pod qos-demo --namespace=qos-example --output=yaml

   输出示例

   spec:
     containers:
       ...
   status:
     qosClass: Guaranteed

   注意

   如果容器指定了自己的内存限值，但没有指定内存请求，OpenShift Container Platform 会自动分配与限制匹配的内存请求。同样，如果容器指定了自己的 CPU 限值，但没有指定 CPU 请求，OpenShift Container Platform 会自动分配与限制匹配的 CPU 请求。

1. 执行镜像。
2. 指示测试以使用来自自定义 registry 的镜像。

1. 关联的机器配置池处于降级状态：

   # oc get mcp

   输出示例

   NAME         CONFIG                                                 UPDATED   UPDATING   DEGRADED   MACHINECOUNT   READYMACHINECOUNT   UPDATEDMACHINECOUNT   DEGRADEDMACHINECOUNT   AGE
   master       rendered-master-2ee57a93fa6c9181b546ca46e1571d2d       True      False      False      3              3                   3                     0                      2d21h
   worker       rendered-worker-d6b2bdc07d9f5a59a6b68950acf25e5f       True      False      False      2              2                   2                     0                      2d21h
   worker-cnf   rendered-worker-cnf-6c838641b8a08fff08dbd8b02fb63f7c   False     True       True       2              1                   1                     1                      2d20h

2. MCP 的 describe 部分包括了原因：

   # oc describe mcp worker-cnf

   输出示例

     Message:               Node node-worker-cnf is reporting: "prepping update:
     machineconfig.machineconfiguration.openshift.io \"rendered-worker-cnf-40b9996919c08e335f3ff230ce1d170\" not
     found"
       Reason:                1 nodes are reporting degraded status on sync

3. 降级状态也应该出现在标记为 degraded = true 的性能配置集的 status 字段中：

   # oc describe performanceprofiles performance

   输出示例

   Message: Machine config pool worker-cnf Degraded Reason: 1 nodes are reporting degraded status on sync.
   Machine config pool worker-cnf Degraded Message: Node yquinn-q8s5v-w-b-z5lqn.c.openshift-gce-devel.internal is
   reporting: "prepping update: machineconfig.machineconfiguration.openshift.io
   \"rendered-worker-cnf-40b9996919c08e335f3ff230ce1d170\" not found".    Reason:  MCPDegraded
      Status:  True
      Type:    Degraded

流程

1. 进入存储 must-gather 数据的目录。

2. 使用一个或多个 --image 或 --image-stream 参数运行 oc adm must-gather 命令。例如，使用以下命令可收集默认集群数据和 Performance Addon Operator 特定信息：

   $ oc adm must-gather \
    --image-stream=openshift/must-gather \ 1
   
    --image=registry.redhat.io/openshift4/performance-addon-operator-must-gather-rhel8:v4.6 2

   1

   默认 OpenShift Container Platform must-gather 镜像。

   2

   低延迟调整诊断的 must-gather 镜像。

3. 从工作目录中创建的 must-gather 目录创建一个压缩文件。例如，在使用 Linux 操作系统的计算机上运行以下命令：

    $ tar cvaf must-gather.tar.gz must-gather.local.5421342344627712289/ 1

   1

   将 must-gather-local.5421342344627712289/ 替换为实际目录名称。

4. 在红帽客户门户中为您的问题单附上压缩文件。

流程

1. 通过完成以下操作，为 N3000 Operator 创建命名空间：

   1. 通过创建名为 n3000-namespace.yaml 的文件来定义 vran-acceleration-operators 命名空间，如下例所示：

      apiVersion: v1
      kind: Namespace
      metadata:
          name: vran-acceleration-operators
          labels:
              openshift.io/cluster-monitoring: "true"

   2. 运行以下命令创建命名空间：

      $ oc create -f n3000-namespace.yaml

2. 在您上一步中创建的命名空间中安装 N3000 Operator：

   1. 创建以下 OperatorGroup CR，并在 n3000-operatorgroup.yaml 文件中保存 YAML：

      apiVersion: operators.coreos.com/v1
      kind: OperatorGroup
      metadata:
          name: n3000-operators
          namespace: vran-acceleration-operators
      spec:
          targetNamespaces:
          - vran-acceleration-operators

   2. 运行以下命令来创建 OperatorGroup CR:

      $ oc create -f n3000-operatorgroup.yaml

   3. 运行以下命令获取下一步所需的 channel 值。

      $ oc get packagemanifest n3000 -n openshift-marketplace -o jsonpath='{.status.defaultChannel}'

      输出示例

      stable

   4. 创建以下 Subscription CR，并将 YAML 保存在 n3000-sub.yaml 文件中：

      apiVersion: operators.coreos.com/v1alpha1
      kind: Subscription
      metadata:
          name: n3000-subscription
          namespace: vran-acceleration-operators
      spec:
          channel: "<channel>"        1
          name: n3000
          source: certified-operators 2
          sourceNamespace: openshift-marketplace

      1

      为 .status.defaultChannel 参数指定上一步中获取的值的频道值。

      2

      您必须指定 certified-operators 值。

   5. 运行以下命令来创建 Subscription CR：

      $ oc create -f n3000-sub.yaml

流程

1. 使用 OpenShift Container Platform Web 控制台为 Intel FPGA PAC N3000 安装 OpenNESS Operator：

   1. 在 OpenShift Container Platform Web 控制台中，点击 Operators → OperatorHub。
   2. 从可用的 Operator 列表中选择 OpenNESS Operator for Intel FPGA PAC N3000，然后点 Install。
   3. 在 Install Operator 页面中，选择 All namespaces on the cluster。然后点击 Install。

2. 可选：验证 N3000 Operator 是否已成功安装：

   1. 切换到 Operators → Installed Operators 页面。

   2. 确保 vran-acceleration-operators 项目中列出了 OpenNESS Operator for Intel FPGA PAC N3000，其 Status 为 InstallSucceeded。

      注意

      在安装过程中，Operator 可能会显示 Failed 状态。如果安装过程结束后有 InstallSucceeded 信息，您可以忽略这个 Failed 信息。

      如果控制台没有指示 Operator 已经安装，请执行以下故障排除步骤：

      • 进入 Operators → Installed Operators 页面，检查 Operator Subscriptions 和 Install Plans 选项卡中的 Status 项中是否有任何错误。
      • 进入 Workloads → Pods 页面，检查 vran-acceleration-operators 项目中 pod 的日志。

流程

1. 进入 vran-acceleration-operators 项目：

   $ oc project vran-acceleration-operators

2. 验证 pod 是否正在运行：

   $ oc get pods

   输出示例

   NAME                                        READY       STATUS          RESTARTS    AGE
   fpga-driver-daemonset-8xz4c                 1/1         Running         0           15d
   fpgainfo-exporter-vhvdq                     1/1         Running         1           15d
   N3000-controller-manager-b68475c76-gcc6v    2/2         Running         1           15d
   N3000-daemonset-5k55l                       1/1         Running         1           15d
   N3000-discovery-blmjl                       1/1         Running         1           15d
   N3000-discovery-lblh7                       1/1         Running         1           15d

   以下部分提供有关已安装 pod 的信息：

   • fpga-driver-daemonset 提供和加载所需的开放编程加速器引擎 (OPAE) 驱动程序
   • fpgainfo-exporter 为 Prometheus 提供 N3000 遥测数据
   • N3000-controller-manager 将 N3000Node CR 应用到集群，并管理所有操作对象容器
   • N3000-daemonset 是主 worker 应用程序。它监控每个节点的 CR 中的更改，并操作更改。在此守护进程中实施的逻辑负责更新卡的 FPGA 用户镜像和 NIC 固件。它还负责排空节点，并在更新需要时将其从委托中删除。
   • N3000-discovery 发现安装 N3000 加速器设备，并在设备存在时标记 worker 节点

3. 获取包含 Intel FPGA PAC N3000 卡的所有节点：

   $ oc get n3000node

   输出示例

   NAME                       FLASH
   node1                      NotRequested

4. 获取有关每个节点卡的信息：

   $ oc get n3000node node1 -o yaml

   输出示例

   status:
     conditions:
     - lastTransitionTime: "2020-12-15T17:09:26Z"
       message: Inventory up to date
       observedGeneration: 1
       reason: NotRequested
       status: "False"
       type: Flashed
     fortville:
     - N3000PCI: 0000:1b:00.0
       NICs:
       - MAC: 64:4c:36:11:1b:a8
         NVMVersion: 7.00 0x800052b0 0.0.0
         PCIAddr: 0000:1a:00.0
         name: Ethernet Controller XXV710 Intel(R) FPGA Programmable Acceleration Card N3000 for Networking
       - MAC: 64:4c:36:11:1b:a9
         NVMVersion: 7.00 0x800052b0 0.0.0
         PCIAddr: 0000:1a:00.1
         name: Ethernet Controller XXV710 Intel(R) FPGA Programmable Acceleration Card N3000 for Networking
       - MAC: 64:4c:36:11:1b:ac
         NVMVersion: 7.00 0x800052b0 0.0.0
         PCIAddr: 0000:1c:00.0
         name: Ethernet Controller XXV710 Intel(R) FPGA Programmable Acceleration Card N3000 for Networking
       - MAC: 64:4c:36:11:1b:ad
         NVMVersion: 7.00 0x800052b0 0.0.0
         PCIAddr: 0000:1c:00.1
         name: Ethernet Controller XXV710 Intel(R) FPGA Programmable Acceleration Card N3000 for Networking
     fpga:
     - PCIAddr: 0000:1b:00.0 1
       bitstreamId: "0x23000410010310" 2
       bitstreamVersion: 0.2.3
       deviceId: "0x0b30"

   1

   PCIAddr 字段指示卡的 PCI 地址。

   2

   bitstreamId 字段指示当前存储在闪存中的位流。

5. 保存当前的 bitstreamId、PCIAddr、名称和 deviceId（没有 "0x" padding）。

   $ oc get n3000node -o json

6. 更新 Intel FPGA PAC N3000 卡的用户位流：

   1. 通过创建名为 n3000-cluster.yaml 的文件，将 N3000 集群资源定义为程序，如下例所示：

      apiVersion: fpga.intel.com/v1
      kind: N3000Cluster
      metadata:
          name: n3000 1
          namespace: vran-acceleration-operators
      spec:
          nodes:
            - nodeName: "node1" 2
              fpga:
                - userImageURL: "http://10.10.10.122:8000/pkg/20ww27.5-2x2x25G-5GLDPC-v1.6.1-3.0.0_unsigned.bin" 3
                  PCIAddr: "0000:1b:00.0" 4
                  checksum: "0b0a87b974d35ea16023ceb57f7d5d9c" 5

      1

      指定名称。名称必须是 n3000。

      2

      指定要编程的节点。

      3

      指定用户 bitstream 的 URL。这个位流文件必须在 HTTP 或 HTTPS 服务器中访问。

      4

      向程序指定卡的 PCI 地址。

      5

      指定 userImageURL 字段中指定的 bitstream 的 MD5 校验和。

      N3000 守护进程使用开放程序加速引擎 (OPAE) 工具更新 FPGA 用户位流并重置 PCI 设备。FPGA 用户位流的更新每个卡最多需要 40 分钟。对于多个节点上的编程卡，在一个时间点上只在一个节点上进行编程。

   2. 应用更新以使用位流开始对卡编程：

      $ oc apply -f n3000-cluster.yaml

      N3000 守护进程在置备了适当的 5G FEC 用户位流后启动位流编程，如 20ww27.5-2x2x25G-5GLDPC-v1.6.1-3.0.0_unsigned.bin，在本例中创建 CR 后。

   3. 检查状态：

      oc get n3000node

      输出示例

      NAME             FLASH
      node1            InProgress

7. 检查日志：

   1. 确定 N3000 守护进程的 pod 名称：

      $ oc get pod -o wide | grep n3000-daemonset | grep node1

      输出示例

      n3000-daemonset-5k55l              1/1     Running   0          15d

   2. 查看日志：

      $ oc logs n3000-daemonset-5k55l

      输出示例

      ...
      {"level":"info","ts":1608054338.8866854,"logger":"daemon.drainhelper.cordonAndDrain()","msg":"node drained"}
      {"level":"info","ts":1608054338.8867319,"logger":"daemon.drainhelper.Run()","msg":"worker function - start"}
      {"level":"info","ts":1608054338.9003832,"logger":"daemon.fpgaManager.ProgramFPGAs","msg":"Start program","PCIAddr":"0000:1b:00.0"}
      {"level":"info","ts":1608054338.9004142,"logger":"daemon.fpgaManager.ProgramFPGA","msg":"Starting","pci":"0000:1b:00.0"}
      {"level":"info","ts":1608056309.9367146,"logger":"daemon.fpgaManager.ProgramFPGA","msg":"Program FPGA completed, start new power cycle N3000 ...","pci":"0000:1b:00.0"}
      {"level":"info","ts":1608056333.3528838,"logger":"daemon.drainhelper.Run()","msg":"worker function - end","performUncordon":true}
      ...

      日志文件显示以下事件流：

      • 位流会被下载并验证。
      • 该节点排空，在此时间内没有工作负载可以运行。

      • 启动闪存：

        • 位流会被闪存到卡中。
        • 应用位流。
      • 闪存完成后，节点或节点上的 PCI 设备或设备会被重新载入。Wireless FEC 加速器的 OpenNESS SR-IOV Operator 现在可以找到新的闪存设备或设备。

验证

1. 在 FPGA 用户位流更新完成后验证状态：

   oc get n3000node

   输出示例

   NAME             FLASH
   node1            Succeeded

2. 验证卡的位流 ID 是否已改变：

   oc get n3000node node1 -o yaml

   输出示例

   status:
         conditions:
             - lastTransitionTime: "2020-12-15T18:18:53Z"
               message: Flashed successfully 1
               observedGeneration: 2
               reason: Succeeded
               status: "True"
               type: Flashed
         fortville:
         - N3000PCI: 0000:1b:00.0
           NICs:
           - MAC: 64:4c:36:11:1b:a8
             NVMVersion: 7.00 0x800052b0 0.0.0
             PCIAddr: 0000:1a:00.0
             name: Ethernet Controller XXV710 Intel(R) FPGA Programmable Acceleration Card N3000 for Networking
           - MAC: 64:4c:36:11:1b:a9
             NVMVersion: 7.00 0x800052b0 0.0.0
             PCIAddr: 0000:1a:00.1
             name: Ethernet Controller XXV710 Intel(R) FPGA Programmable Acceleration Card N3000 for Networking
           - MAC: 64:4c:36:11:1b:ac
             NVMVersion: 7.00 0x800052b0 0.0.0
             PCIAddr: 0000:1c:00.0
             name: Ethernet Controller XXV710 Intel(R) FPGA Programmable Acceleration Card N3000 for Networking
           - MAC: 64:4c:36:11:1b:ad
             NVMVersion: 7.00 0x800052b0 0.0.0
             PCIAddr: 0000:1c:00.1
             name: Ethernet Controller XXV710 Intel(R) FPGA Programmable Acceleration Card N3000 for Networking
         fpga:
         - PCIAddr: 0000:1b:00.0 2
           bitstreamId: "0x2315842A010601" 3
           bitstreamVersion: 0.2.3
           deviceId: "0x0b30" 4

   1

   message 字段显示设备已成功闪存。

   2

   PCIAddr 字段指示卡的 PCI 地址。

   3

   bitstreamId 字段表示更新的 bitstream ID。

   4

   deviceID 字段表示公开给系统的卡内的位流的设备 ID。

3. 检查节点上的 FEC PCI 设备：

   1. 验证节点配置是否正确应用：

      $ oc debug node/node1

      预期输出

      Starting pod/<node-name>-debug ...
      To use host binaries, run `chroot /host`
      
      Pod IP: <ip-address>
      If you don't see a command prompt, try pressing enter.
      
      sh-4.4#

   2. 验证可以使用节点文件系统：

      sh-4.4# chroot /host

      预期输出

      sh-4.4#

   3. 列出与系统中加速器关联的 PCI 设备：

      $ lspci | grep accelerators

      预期输出

      1b:00.0 Processing accelerators: Intel Corporation Device 0b30
      1d:00.0 Processing accelerators: Intel Corporation Device 0d8f (rev 01)

      属于 FPGA 的设备在输出中报告。设备 ID 0b30 是 RSU 接口，用于对卡进行编程，0d8f 是新编程 5G 设备的物理功能。

流程

1. 通过完成以下操作，为 Wireless FEC 加速器为 OpenNESS SR-IOV Operator 创建命名空间：

   1. 通过创建名为 sriov-namespace.yaml 的文件来定义 vran-acceleration-operators 命名空间，如下例所示：

      apiVersion: v1
      kind: Namespace
      metadata:
          name: vran-acceleration-operators
          labels:
             openshift.io/cluster-monitoring: "true"

   2. 运行以下命令创建命名空间：

      $ oc create -f sriov-namespace.yaml

2. 通过创建以下对象，在上一步中创建的命名空间中为 Wireless FEC 加速器安装 OpenNESS SR-IOV Operator：

   1. 创建以下 OperatorGroup CR，并在 sriov-operatorgroup.yaml 文件中保存 YAML：

      apiVersion: operators.coreos.com/v1
      kind: OperatorGroup
      metadata:
          name: vran-operators
          namespace: vran-acceleration-operators
      spec:
          targetNamespaces:
            - vran-acceleration-operators

   2. 运行以下命令来创建 OperatorGroup CR:

      $ oc create -f sriov-operatorgroup.yaml

   3. 运行以下命令获取下一步所需的 channel 值。

      $ oc get packagemanifest sriov-fec -n openshift-marketplace -o jsonpath='{.status.defaultChannel}'

      输出示例

      stable

   4. 创建以下订阅 CR，并将 YAML 保存到 sriov-sub.yaml 文件中：

      apiVersion: operators.coreos.com/v1alpha1
      kind: Subscription
      metadata:
          name: sriov-fec-subscription
          namespace: vran-acceleration-operators
      spec:
          channel: "<channel>" 1
          name: sriov-fec
          source: certified-operators 2
          sourceNamespace: openshift-marketplace

      1

      为 .status.defaultChannel 参数指定上一步中获取的值的频道值。

      2

      您必须指定 certified-operators 值。

   5. 运行以下命令来创建 Subscription CR：

      $ oc create -f sriov-sub.yaml

流程

1. 使用 OpenShift Container Platform Web 控制台为 Wireless FEC Accelerators 安装 OpenNESS SR-IOV Operator:

   1. 在 OpenShift Container Platform Web 控制台中，点击 Operators → OperatorHub。
   2. 从可用的 Operator 列表中选择 OpenNESS SR-IOV Operator for Wireless FEC Accelerators，然后点 Install。
   3. 在 Install Operator 页面中，选择 All namespaces on the cluster。然后点击 Install。

2. 可选：验证 SRIOV-FEC Operator 是否已成功安装：

   1. 切换到 Operators → Installed Operators 页面。

   2. 确保 OpenNESS SR-IOV Operator for Wireless FEC Accelerators 列在 vran-acceleration-operators 项目中，Status 为 InstallSucceeded。

      注意

      在安装过程中，Operator 可能会显示 Failed 状态。如果安装过程结束后有 InstallSucceeded 信息，您可以忽略这个 Failed 信息。

      如果控制台没有指示 Operator 已经安装，请执行以下故障排除步骤：

      • 进入 Operators → Installed Operators 页面，检查 Operator Subscriptions 和 Install Plans 选项卡中的 Status 项中是否有任何错误。
      • 进入 Workloads → Pods 页面，检查 vran-acceleration-operators 项目中 pod 的日志。

流程

1. 进入 vran-acceleration-operators 项目：

   $ oc project vran-acceleration-operators

2. 验证 SR-IOV-FEC Operator 是否已安装：

   $ oc get csv -o custom-columns=Name:.metadata.name,Phase:.status.phase

   输出示例

   Name                                        Phase
   sriov-fec.v1.1.0                            Succeeded
   n3000.v1.1.0                                Succeeded

3. 验证 N3000 和 sriov-fec pod 是否正在运行：

   $  oc get pods

   输出示例

   NAME                                            READY       STATUS      RESTARTS    AGE
   fpga-driver-daemonset-8xz4c                     1/1         Running     0           15d
   fpgainfo-exporter-vhvdq                         1/1         Running     1           15d
   N3000-controller-manager-b68475c76-gcc6v        2/2         Running     1           15d
   N3000-daemonset-5k55l                           1/1         Running     1           15d
   N3000-discovery-blmjl                           1/1         Running     1           15d
   N3000-discovery-lblh7                           1/1         Running     1           15d
   sriov-device-plugin-j5jlv                       1/1         Running     1           15d
   sriov-fec-controller-manager-85b6b8f4d4-gd2qg   1/1         Running     1           15d
   sriov-fec-daemonset-kqqs6                       1/1         Running     1           15d

   以下部分提供有关已安装 pod 的信息：

   • fpga-driver-daemonset 提供和加载所需的开放编程加速器引擎 (OPAE) 驱动程序
   • fpgainfo-exporter 为 Prometheus 提供 N3000 遥测数据
   • N3000-controller-manager 将 N3000Node CR 应用到集群，并管理所有操作对象容器
   • N3000-daemonset 是主 worker 应用程序
   • N3000-discovery 发现安装 N3000 加速器设备，并在设备存在时标记 worker 节点
   • sriov-device-plugin 将 FEC 虚拟功能公开为节点下的资源
   • sriov-fec-controller-manager 将 CR 应用到节点，并维护操作对象容器

   • sriov-fec-daemonset 的责任包括：

     • 发现每个节点上的 SRIOV NIC。
     • 同步第 6 步中定义的自定义资源 (CR) 的状态。
     • 使用 CR 的 spec 作为输入并配置发现的 NIC。

4. 检索包含其中一个支持的 vRAN FEC 加速器设备的所有节点：

   $ oc get sriovfecnodeconfig

   输出示例

   NAME             CONFIGURED
   node1            Succeeded

5. 查找要配置的 SR-IOV FEC 加速器设备的物理功能 (PF)：

   $ oc get sriovfecnodeconfig node1 -o yaml

   输出示例

   status:
       conditions:
       - lastTransitionTime: "2021-03-19T17:19:37Z"
         message: Configured successfully
         observedGeneration: 1
         reason: ConfigurationSucceeded
         status: "True"
         type: Configured
       inventory:
           sriovAccelerators:
           - deviceID: 0d5c
             driver: ""
             maxVirtualFunctions: 16
             pciAddress: 0000.1d.00.0 1
             vendorID: "8086"
             virtualFunctions: [] 2

   1

   此字段显示卡的 PCI 地址。

   2

   此字段显示虚拟功能为空。

6. 使用所需的设置配置 FEC 设备。

   1. 创建以下自定义资源 (CR)，并将 YAML 保存到 sriovfec_n3000_cr.yaml 文件中：

      apiVersion: sriovfec.intel.com/v1
      kind: SriovFecClusterConfig
      metadata:
          name: config
          namespace: vran-acceleration-operators
      spec:
        nodes:
          - nodeName: node1 1
            physicalFunctions:
              - pciAddress: 0000:1d:00.0 2
                pfDriver: pci-pf-stub
                vfDriver: vfio-pci
                vfAmount: 2 3
                bbDevConfig:
                  n3000:
                    # Network Type: either "FPGA_5GNR" or "FPGA_LTE"
                    networkType: "FPGA_5GNR"
                    pfMode: false
                    flrTimeout: 610
                    downlink:
                      bandwidth: 3
                      loadBalance: 128
                      queues: 4
                        vf0: 16
                        vf1: 16
                        vf2: 0
                        vf3: 0
                        vf4: 0
                        vf5: 0
                        vf6: 0
                        vf7: 0
                    uplink:
                      bandwidth: 3
                      loadBalance: 128
                      queues: 5
                        vf0: 16
                        vf1: 16
                        vf2: 0
                        vf3: 0
                        vf4: 0
                        vf5: 0
                        vf6: 0
                        vf7: 0

      1

      指定节点名称。

      2

      指定安装 SR-IOV-FEC Operator 的卡的 PCI 地址。

      3

      指定虚拟功能的数量。创建两个虚拟功能：

      4

      在 vf0 上，使用 16 个总线（downlink 和 uplink）创建一个队列。

      5

      在 vf1 上，使用 16 个总线（downlink 和 uplink）创建一个队列。

      注意

      对于 Intel PAC N3000 for vRAN Acceleration，用户可以最多创建 8 个 VF 设备。每个 FEC PF 设备都提供要配置的 64 个队列，32 个队列用于 uplink，32 个队列用于 downlink。队列通常在 VF 之间均匀分布。

   2. 应用 CR：

      $ oc apply -f sriovfec_n3000_cr.yaml

      应用 CR 后，SR-IOV FEC 守护进程将开始配置 FEC 设备。

验证

1. 检查状态：

   $ oc get sriovfecclusterconfig config -o yaml

   输出示例

   status:
       conditions:
       - lastTransitionTime: "2020-12-15T17:19:37Z"
         message: Configured successfully
         observedGeneration: 1
         reason: ConfigurationSucceeded
         status: "True"
         type: Configured
       inventory:
         sriovAccelerators:
         - deviceID: 0d8f
           driver: pci-pf-stub
           maxVirtualFunctions: 8
           pciAddress: 0000:1d:00.0
           vendorID: "8086"
           virtualFunctions:
           - deviceID: 0d90
             driver: vfio-pci
             pciAddress: 0000:1d:00.1
           - deviceID: 0d90
             driver: vfio-pci
             pciAddress: 0000:1d:00.2

2. 检查日志：

   1. 确定 SR-IOV 守护进程 pod 的名称：

      $ oc get pod | grep sriov-fec-daemonset

      输出示例

      sriov-fec-daemonset-kqqs6                      1/1     Running   0          19h

   2. 查看日志：

      $ oc logs sriov-fec-daemonset-kqqs6

      输出示例

      2020-12-16T12:46:47.720Z        INFO    daemon.NodeConfigurator.applyConfig     configuring PF  {"requestedConfig": {"pciAddress":"0000:1d:00.0","pfDriver":"pci-pf-stub","vfDriver":"vfio-pci","vfAmount":2,"bbDevConfig":{"n3000":{
      "networkType":"FPGA_5GNR","pfMode":false,"flrTimeout":610,"downlink":{"bandwidth":3,"loadBalance":128,"queues":{"vf0":16,"vf1":16}},"uplink":{"bandwidth":3,"loadBalance":128,"queues":{"vf0":16,"vf1":16}}}}}}
      2020-12-16T12:46:47.720Z        INFO    daemon.NodeConfigurator.loadModule      executing command       {"cmd": "/usr/sbin/chroot /host/ modprobe pci-pf-stub"}
      2020-12-16T12:46:47.724Z        INFO    daemon.NodeConfigurator.loadModule      commands output {"output": ""}
      2020-12-16T12:46:47.724Z        INFO    daemon.NodeConfigurator.loadModule      executing command       {"cmd": "/usr/sbin/chroot /host/ modprobe vfio-pci"}
      2020-12-16T12:46:47.727Z        INFO    daemon.NodeConfigurator.loadModule      commands output {"output": ""}
      2020-12-16T12:46:47.727Z        INFO    daemon.NodeConfigurator device's driver_override path   {"path": "/sys/bus/pci/devices/0000:1d:00.0/driver_override"}
      2020-12-16T12:46:47.727Z        INFO    daemon.NodeConfigurator driver bind path        {"path": "/sys/bus/pci/drivers/pci-pf-stub/bind"}
      2020-12-16T12:46:47.998Z        INFO    daemon.NodeConfigurator device's driver_override path   {"path": "/sys/bus/pci/devices/0000:1d:00.1/driver_override"}
      2020-12-16T12:46:47.998Z        INFO    daemon.NodeConfigurator driver bind path        {"path": "/sys/bus/pci/drivers/vfio-pci/bind"}
      2020-12-16T12:46:47.998Z        INFO    daemon.NodeConfigurator device's driver_override path   {"path": "/sys/bus/pci/devices/0000:1d:00.2/driver_override"}
      2020-12-16T12:46:47.998Z        INFO    daemon.NodeConfigurator driver bind path        {"path": "/sys/bus/pci/drivers/vfio-pci/bind"}
      2020-12-16T12:46:47.999Z        INFO    daemon.NodeConfigurator.applyConfig     executing command       {"cmd": "/sriov_workdir/pf_bb_config FPGA_5GNR -c /sriov_artifacts/0000:1d:00.0.ini -p 0000:1d:00.0"}
      2020-12-16T12:46:48.017Z        INFO    daemon.NodeConfigurator.applyConfig     commands output {"output": "ERROR: Section (FLR) or name (flr_time_out) is not valid.
      FEC FPGA RTL v3.0
      UL.DL Weights = 3.3
      UL.DL Load Balance = 1
      28.128
      Queue-PF/VF Mapping Table = READY
      Ring Descriptor Size = 256 bytes
      
      --------+-----+-----+-----+-----+-----+-----+-----+-----+-----+
              |  PF | VF0 | VF1 | VF2 | VF3 | VF4 | VF5 | VF6 | VF7 |
      --------+-----+-----+-----+-----+-----+-----+-----+-----+-----+
      UL-Q'00 |     |  X  |     |     |     |     |     |     |     |
      UL-Q'01 |     |  X  |     |     |     |     |     |     |     |
      UL-Q'02 |     |  X  |     |     |     |     |     |     |     |
      UL-Q'03 |     |  X  |     |     |     |     |     |     |     |
      UL-Q'04 |     |  X  |     |     |     |     |     |     |     |
      UL-Q'05 |     |  X  |     |     |     |     |     |     |     |
      UL-Q'06 |     |  X  |     |     |     |     |     |     |     |
      UL-Q'07 |     |  X  |     |     |     |     |     |     |     |
      UL-Q'08 |     |  X  |     |     |     |     |     |     |     |
      UL-Q'09 |     |  X  |     |     |     |     |     |     |     |
      UL-Q'10 |     |  X  |     |     |     |     |     |     |     |
      UL-Q'11 |     |  X  |     |     |     |     |     |     |     |
      UL-Q'12 |     |  X  |     |     |     |     |     |     |     |
      UL-Q'13 |     |  X  |     |     |     |     |     |     |     |
      UL-Q'14 |     |  X  |     |     |     |     |     |     |     |
      UL-Q'15 |     |  X  |     |     |     |     |     |     |     |
      UL-Q'16 |     |     |  X  |     |     |     |     |     |     |
      UL-Q'17 |     |     |  X  |     |     |     |     |     |     |
      UL-Q'18 |     |     |  X  |     |     |     |     |     |     |
      UL-Q'19 |     |     |  X  |     |     |     |     |     |     |
      UL-Q'20 |     |     |  X  |     |     |     |     |     |     |
      UL-Q'21 |     |     |  X  |     |     |     |     |     |     |
      UL-Q'22 |     |     |  X  |     |     |     |     |     |     |
      UL-Q'23 |     |     |  X  |     |     |     |     |     |     |
      UL-Q'24 |     |     |  X  |     |     |     |     |     |     |
      UL-Q'25 |     |     |  X  |     |     |     |     |     |     |
      UL-Q'26 |     |     |  X  |     |     |     |     |     |     |
      UL-Q'27 |     |     |  X  |     |     |     |     |     |     |
      UL-Q'28 |     |     |  X  |     |     |     |     |     |     |
      UL-Q'29 |     |     |  X  |     |     |     |     |     |     |
      UL-Q'30 |     |     |  X  |     |     |     |     |     |     |
      UL-Q'31 |     |     |  X  |     |     |     |     |     |     |
      DL-Q'32 |     |  X  |     |     |     |     |     |     |     |
      DL-Q'33 |     |  X  |     |     |     |     |     |     |     |
      DL-Q'34 |     |  X  |     |     |     |     |     |     |     |
      DL-Q'35 |     |  X  |     |     |     |     |     |     |     |
      DL-Q'36 |     |  X  |     |     |     |     |     |     |     |
      DL-Q'37 |     |  X  |     |     |     |     |     |     |     |
      DL-Q'38 |     |  X  |     |     |     |     |     |     |     |
      DL-Q'39 |     |  X  |     |     |     |     |     |     |     |
      DL-Q'40 |     |  X  |     |     |     |     |     |     |     |
      DL-Q'41 |     |  X  |     |     |     |     |     |     |     |
      DL-Q'42 |     |  X  |     |     |     |     |     |     |     |
      DL-Q'43 |     |  X  |     |     |     |     |     |     |     |
      DL-Q'44 |     |  X  |     |     |     |     |     |     |     |
      DL-Q'45 |     |  X  |     |     |     |     |     |     |     |
      DL-Q'46 |     |  X  |     |     |     |     |     |     |     |
      DL-Q'47 |     |  X  |     |     |     |     |     |     |     |
      DL-Q'48 |     |     |  X  |     |     |     |     |     |     |
      DL-Q'49 |     |     |  X  |     |     |     |     |     |     |
      DL-Q'50 |     |     |  X  |     |     |     |     |     |     |
      DL-Q'51 |     |     |  X  |     |     |     |     |     |     |
      DL-Q'52 |     |     |  X  |     |     |     |     |     |     |
      DL-Q'53 |     |     |  X  |     |     |     |     |     |     |
      DL-Q'54 |     |     |  X  |     |     |     |     |     |     |
      DL-Q'55 |     |     |  X  |     |     |     |     |     |     |
      DL-Q'56 |     |     |  X  |     |     |     |     |     |     |
      DL-Q'57 |     |     |  X  |     |     |     |     |     |     |
      DL-Q'58 |     |     |  X  |     |     |     |     |     |     |
      DL-Q'59 |     |     |  X  |     |     |     |     |     |     |
      DL-Q'60 |     |     |  X  |     |     |     |     |     |     |
      DL-Q'61 |     |     |  X  |     |     |     |     |     |     |
      DL-Q'62 |     |     |  X  |     |     |     |     |     |     |
      DL-Q'63 |     |     |  X  |     |     |     |     |     |     |
      --------+-----+-----+-----+-----+-----+-----+-----+-----+-----+
      
      Mode of operation = VF-mode
      FPGA_5GNR PF [0000:1d:00.0] configuration complete!"}
      2020-12-16T12:46:48.017Z        INFO    daemon.NodeConfigurator.enableMasterBus executing command       {"cmd": "/usr/sbin/chroot /host/ setpci -v -s 0000:1d:00.0 COMMAND"}
      2020-12-16T12:46:48.037Z        INFO    daemon.NodeConfigurator.enableMasterBus commands output {"output": "0000:1d:00.0 @04 = 0102\n"}
      2020-12-16T12:46:48.037Z        INFO    daemon.NodeConfigurator.enableMasterBus executing command       {"cmd": "/usr/sbin/chroot /host/ setpci -v -s 0000:1d:00.0 COMMAND=0106"}
      2020-12-16T12:46:48.054Z        INFO    daemon.NodeConfigurator.enableMasterBus commands output {"output": "0000:1d:00.0 @04 0106\n"}
      2020-12-16T12:46:48.054Z        INFO    daemon.NodeConfigurator.enableMasterBus MasterBus set   {"pci": "0000:1d:00.0", "output": "0000:1d:00.0 @04 0106\n"}
      2020-12-16T12:46:48.160Z        INFO    daemon.drainhelper.Run()        worker function - end   {"performUncordon": true}

3. 检查卡的 FEC 配置：

   $ oc get sriovfecnodeconfig node1 -o yaml

   输出示例

   status:
       conditions:
       - lastTransitionTime: "2020-12-15T17:19:37Z"
         message: Configured successfully
         observedGeneration: 1
         reason: ConfigurationSucceeded
         status: "True"
         type: Configured
       inventory:
         sriovAccelerators:
         - deviceID: 0d8f 1
           driver: pci-pf-stub
           maxVirtualFunctions: 8
           pciAddress: 0000:1d:00.0
           vendorID: "8086"
         virtualFunctions:
         - deviceID: 0d90 2
           driver: vfio-pci
           pciAddress: 0000:1d:00.1
         - deviceID: 0d90
           driver: vfio-pci
           pciAddress: 0000:1d:00.2

   1

   0d8f 是 FEC 设备的 deviceID 物理功能（PF）。

   2

   0d90 是 FEC 设备的 deviceID 虚拟功能（VF）。

流程

1. 进入 vran-acceleration-operators 项目：

   $ oc project vran-acceleration-operators

2. 验证 SR-IOV-FEC Operator 是否已安装：

   $ oc get csv -o custom-columns=Name:.metadata.name,Phase:.status.phase

   输出示例

   Name                                        Phase
   sriov-fec.v1.1.0                            Succeeded

3. 验证 sriov-fec pod 是否正在运行：

   $  oc get pods

   输出示例

   NAME                                            READY       STATUS      RESTARTS    AGE
   sriov-device-plugin-j5jlv                       1/1         Running     1           15d
   sriov-fec-controller-manager-85b6b8f4d4-gd2qg   1/1         Running     1           15d
   sriov-fec-daemonset-kqqs6                       1/1         Running     1           15d

   • sriov-device-plugin 将 FEC 虚拟功能公开为节点下的资源
   • sriov-fec-controller-manager 将 CR 应用到节点，并维护操作对象容器

   • sriov-fec-daemonset 的责任包括：

     • 发现每个节点上的 SRIOV NIC。
     • 同步第 6 步中定义的自定义资源 (CR) 的状态。
     • 使用 CR 的 spec 作为输入并配置发现的 NIC。

4. 检索包含其中一个支持的 vRAN FEC 加速器设备的所有节点：

   $ oc get sriovfecnodeconfig

   输出示例

   NAME             CONFIGURED
   node1            Succeeded

5. 查找要配置的 SR-IOV FEC 加速器设备的物理功能 (PF)：

   $ oc get sriovfecnodeconfig node1 -o yaml

   输出示例

   status:
       conditions:
       - lastTransitionTime: "2021-03-19T17:19:37Z"
         message: Configured successfully
         observedGeneration: 1
         reason: ConfigurationSucceeded
         status: "True"
         type: Configured
       inventory:
          sriovAccelerators:
          - deviceID: 0d5c
            driver: ""
            maxVirtualFunctions: 16
            pciAddress: 0000:af:00.0 1
            vendorID: "8086"
            virtualFunctions: [] 2

   1

   此字段表示卡的 PCI 地址。

   2

   此字段显示虚拟功能为空。

6. 在 FEC 设备中配置虚拟功能和队列组的数量：

   1. 创建以下自定义资源(CR)，并将 YAML 保存到 sriovfec_acc100cr.yaml 文件中：

      注意

      本例为 5G 配置 ACC100 8/8 队列组，为 Uplink 配置 4 个队列组，另一个 4 个队列组用于 Downlink。

      apiVersion: sriovfec.intel.com/v1
      kind: SriovFecClusterConfig
      metadata:
        name: config 1
      spec:
        nodes:
         - nodeName: node1 2
           physicalFunctions:
             - pciAddress: 0000:af:00.0 3
               pfDriver: "pci-pf-stub"
               vfDriver: "vfio-pci"
               vfAmount: 16 4
               bbDevConfig:
                 acc100:
                   # Programming mode: 0 = VF Programming, 1 = PF Programming
                   pfMode: false
                   numVfBundles: 16
                   maxQueueSize: 1024
                   uplink4G:
                     numQueueGroups: 0
                     numAqsPerGroups: 16
                     aqDepthLog2: 4
                   downlink4G:
                    numQueueGroups: 0
                    numAqsPerGroups: 16
                    aqDepthLog2: 4
                   uplink5G:
                    numQueueGroups: 4
                    numAqsPerGroups: 16
                    aqDepthLog2: 4
                   downlink5G:
                    numQueueGroups: 4
                    numAqsPerGroups: 16
                    aqDepthLog2: 4

      1

      为 CR 对象指定一个名称。可以指定的唯一名称是 config。

      2

      指定节点名称。

      3

      指定 SR-IOV-FEC Operator 将要安装的卡的 PCI 地址。

      4

      指定要创建的虚拟功能数量。对于 Intel vRAN Dedicated 加速器 ACC100，创建所有 16 个 VF。

      注意

      该卡配置为提供最多 8 个队列组，每个组最多有 16 个队列。队列组可以划分到分配给 5G 和 4G 的组，以及 Uplink 和 Downlink。Intel vRAN Dedicated 加速器 ACC100 可以配置为：

      • 仅 4G 或 5G
      • 同时 4G 和 5G

      每个配置的 VF 都可以访问所有队列。每个队列组都具有不同的优先级级别。对给定队列组的请求从应用级别发出，即 vRAN 应用利用 FEC 设备。

   2. 应用 CR：

      $ oc apply -f sriovfec_acc100cr.yaml

      应用 CR 后，SR-IOV FEC 守护进程将开始配置 FEC 设备。

验证

1. 检查状态：

   $ oc get sriovfecclusterconfig config -o yaml

   输出示例

   status:
       conditions:
       - lastTransitionTime: "2021-03-19T11:46:22Z"
         message: Configured successfully
         observedGeneration: 1
         reason: Succeeded
         status: "True"
         type: Configured
       inventory:
         sriovAccelerators:
         - deviceID: 0d5c
           driver: pci-pf-stub
           maxVirtualFunctions: 16
           pciAddress: 0000:af:00.0
           vendorID: "8086"
           virtualFunctions:
           - deviceID: 0d5d
             driver: vfio-pci
             pciAddress: 0000:b0:00.0
           - deviceID: 0d5d
             driver: vfio-pci
             pciAddress: 0000:b0:00.1
           - deviceID: 0d5d
             driver: vfio-pci
             pciAddress: 0000:b0:00.2
           - deviceID: 0d5d
             driver: vfio-pci
             pciAddress: 0000:b0:00.3
           - deviceID: 0d5d
             driver: vfio-pci
             pciAddress: 0000:b0:00.4

2. 检查日志：

   1. 确定 SR-IOV 守护进程的 pod 名称：

      $ oc get po -o wide | grep sriov-fec-daemonset | grep node1

      输出示例

      sriov-fec-daemonset-kqqs6                      1/1     Running   0          19h

   2. 查看日志：

      $ oc logs sriov-fec-daemonset-kqqs6

      输出示例

      {"level":"Level(-2)","ts":1616794345.4786215,"logger":"daemon.drainhelper.cordonAndDrain()","msg":"node drained"}
      {"level":"Level(-4)","ts":1616794345.4786265,"logger":"daemon.drainhelper.Run()","msg":"worker function - start"}
      {"level":"Level(-4)","ts":1616794345.5762916,"logger":"daemon.NodeConfigurator.applyConfig","msg":"current node status","inventory":{"sriovAccelerat
      ors":[{"vendorID":"8086","deviceID":"0b32","pciAddress":"0000:20:00.0","driver":"","maxVirtualFunctions":1,"virtualFunctions":[]},{"vendorID":"8086"
      ,"deviceID":"0d5c","pciAddress":"0000:af:00.0","driver":"","maxVirtualFunctions":16,"virtualFunctions":[]}]}}
      {"level":"Level(-4)","ts":1616794345.5763638,"logger":"daemon.NodeConfigurator.applyConfig","msg":"configuring PF","requestedConfig":{"pciAddress":"
      0000:af:00.0","pfDriver":"pci-pf-stub","vfDriver":"vfio-pci","vfAmount":2,"bbDevConfig":{"acc100":{"pfMode":false,"numVfBundles":16,"maxQueueSize":1
      024,"uplink4G":{"numQueueGroups":4,"numAqsPerGroups":16,"aqDepthLog2":4},"downlink4G":{"numQueueGroups":4,"numAqsPerGroups":16,"aqDepthLog2":4},"uplink5G":{"numQueueGroups":0,"numAqsPerGroups":16,"aqDepthLog2":4},"downlink5G":{"numQueueGroups":0,"numAqsPerGroups":16,"aqDepthLog2":4}}}}}
      {"level":"Level(-4)","ts":1616794345.5774765,"logger":"daemon.NodeConfigurator.loadModule","msg":"executing command","cmd":"/usr/sbin/chroot /host/ modprobe pci-pf-stub"}
      {"level":"Level(-4)","ts":1616794345.5842702,"logger":"daemon.NodeConfigurator.loadModule","msg":"commands output","output":""}
      {"level":"Level(-4)","ts":1616794345.5843055,"logger":"daemon.NodeConfigurator.loadModule","msg":"executing command","cmd":"/usr/sbin/chroot /host/ modprobe vfio-pci"}
      {"level":"Level(-4)","ts":1616794345.6090655,"logger":"daemon.NodeConfigurator.loadModule","msg":"commands output","output":""}
      {"level":"Level(-2)","ts":1616794345.6091156,"logger":"daemon.NodeConfigurator","msg":"device's driver_override path","path":"/sys/bus/pci/devices/0000:af:00.0/driver_override"}
      {"level":"Level(-2)","ts":1616794345.6091807,"logger":"daemon.NodeConfigurator","msg":"driver bind path","path":"/sys/bus/pci/drivers/pci-pf-stub/bind"}
      {"level":"Level(-2)","ts":1616794345.7488534,"logger":"daemon.NodeConfigurator","msg":"device's driver_override path","path":"/sys/bus/pci/devices/0000:b0:00.0/driver_override"}
      {"level":"Level(-2)","ts":1616794345.748938,"logger":"daemon.NodeConfigurator","msg":"driver bind path","path":"/sys/bus/pci/drivers/vfio-pci/bind"}
      {"level":"Level(-2)","ts":1616794345.7492096,"logger":"daemon.NodeConfigurator","msg":"device's driver_override path","path":"/sys/bus/pci/devices/0000:b0:00.1/driver_override"}
      {"level":"Level(-2)","ts":1616794345.7492566,"logger":"daemon.NodeConfigurator","msg":"driver bind path","path":"/sys/bus/pci/drivers/vfio-pci/bind"}
      {"level":"Level(-4)","ts":1616794345.74968,"logger":"daemon.NodeConfigurator.applyConfig","msg":"executing command","cmd":"/sriov_workdir/pf_bb_config ACC100 -c /sriov_artifacts/0000:af:00.0.ini -p 0000:af:00.0"}
      {"level":"Level(-4)","ts":1616794346.5203931,"logger":"daemon.NodeConfigurator.applyConfig","msg":"commands output","output":"Queue Groups: 0 5GUL, 0 5GDL, 4 4GUL, 4 4GDL\nNumber of 5GUL engines 8\nConfiguration in VF mode\nPF ACC100 configuration complete\nACC100 PF [0000:af:00.0] configuration complete!\n\n"}
      {"level":"Level(-4)","ts":1616794346.520459,"logger":"daemon.NodeConfigurator.enableMasterBus","msg":"executing command","cmd":"/usr/sbin/chroot /host/ setpci -v -s 0000:af:00.0 COMMAND"}
      {"level":"Level(-4)","ts":1616794346.5458736,"logger":"daemon.NodeConfigurator.enableMasterBus","msg":"commands output","output":"0000:af:00.0 @04 = 0142\n"}
      {"level":"Level(-4)","ts":1616794346.5459251,"logger":"daemon.NodeConfigurator.enableMasterBus","msg":"executing command","cmd":"/usr/sbin/chroot /host/ setpci -v -s 0000:af:00.0 COMMAND=0146"}
      {"level":"Level(-4)","ts":1616794346.5795262,"logger":"daemon.NodeConfigurator.enableMasterBus","msg":"commands output","output":"0000:af:00.0 @04 0146\n"}
      {"level":"Level(-2)","ts":1616794346.5795407,"logger":"daemon.NodeConfigurator.enableMasterBus","msg":"MasterBus set","pci":"0000:af:00.0","output":"0000:af:00.0 @04 0146\n"}
      {"level":"Level(-4)","ts":1616794346.6867144,"logger":"daemon.drainhelper.Run()","msg":"worker function - end","performUncordon":true}
      {"level":"Level(-4)","ts":1616794346.6867719,"logger":"daemon.drainhelper.Run()","msg":"uncordoning node"}
      {"level":"Level(-4)","ts":1616794346.6896322,"logger":"daemon.drainhelper.uncordon()","msg":"starting uncordon attempts"}
      {"level":"Level(-2)","ts":1616794346.69735,"logger":"daemon.drainhelper.uncordon()","msg":"node uncordoned"}
      {"level":"Level(-4)","ts":1616794346.6973662,"logger":"daemon.drainhelper.Run()","msg":"cancelling the context to finish the leadership"}
      {"level":"Level(-4)","ts":1616794346.7029872,"logger":"daemon.drainhelper.Run()","msg":"stopped leading"}
      {"level":"Level(-4)","ts":1616794346.7030034,"logger":"daemon.drainhelper","msg":"releasing the lock (bug mitigation)"}
      {"level":"Level(-4)","ts":1616794346.8040674,"logger":"daemon.updateInventory","msg":"obtained inventory","inv":{"sriovAccelerators":[{"vendorID":"8086","deviceID":"0b32","pciAddress":"0000:20:00.0","driver":"","maxVirtualFunctions":1,"virtualFunctions":[]},{"vendorID":"8086","deviceID":"0d5c","pciAddress":"0000:af:00.0","driver":"pci-pf-stub","maxVirtualFunctions":16,"virtualFunctions":[{"pciAddress":"0000:b0:00.0","driver":"vfio-pci","deviceID":"0d5d"},{"pciAddress":"0000:b0:00.1","driver":"vfio-pci","deviceID":"0d5d"}]}]}}
      {"level":"Level(-4)","ts":1616794346.9058325,"logger":"daemon","msg":"Update ignored, generation unchanged"}
      {"level":"Level(-2)","ts":1616794346.9065044,"logger":"daemon.Reconcile","msg":"Reconciled","namespace":"vran-acceleration-operators","name":"pg-itengdvs02r.altera.com"}

3. 检查卡的 FEC 配置：

   $ oc get sriovfecnodeconfig node1 -o yaml

   输出示例

   status:
       conditions:
       - lastTransitionTime: "2021-03-19T11:46:22Z"
         message: Configured successfully
         observedGeneration: 1
         reason: Succeeded
         status: "True"
         type: Configured
       inventory:
         sriovAccelerators:
         - deviceID: 0d5c 1
           driver: pci-pf-stub
           maxVirtualFunctions: 16
           pciAddress: 0000:af:00.0
           vendorID: "8086"
           virtualFunctions:
           - deviceID: 0d5d 2
             driver: vfio-pci
             pciAddress: 0000:b0:00.0
           - deviceID: 0d5d
             driver: vfio-pci
             pciAddress: 0000:b0:00.1
           - deviceID: 0d5d
             driver: vfio-pci
             pciAddress: 0000:b0:00.2
           - deviceID: 0d5d
             driver: vfio-pci
             pciAddress: 0000:b0:00.3
           - deviceID: 0d5d
             driver: vfio-pci
             pciAddress: 0000:b0:00.4

   1

   值 0d5c 是 FEC 设备的物理功能的 deviceID。

   2

   值 0d5d 是 FEC 设备的虚拟功能的 deviceID。

流程

1. 通过完成以下操作，为测试创建一个命名空间：

   1. 通过创建名为 test-bbdev-namespace.yaml 文件的文件来定义 test-bbdev 命名空间，如下例所示：

      apiVersion: v1
      kind: Namespace
      metadata:
        name: test-bbdev
        labels:
          openshift.io/run-level: "1"

   2. 运行以下命令创建命名空间：

      $ oc create -f test-bbdev-namespace.yaml

2. 创建以下 Pod 规格，然后在 pod-test.yaml 文件中保存 YAML:

   apiVersion: v1
   kind: Pod
   metadata:
     name: pod-bbdev-sample-app
     namespace: test-bbdev 1
   spec:
     containers:
     - securityContext:
         privileged: false
         capabilities:
           add:
            - IPC_LOCK
            - SYS_NICE
       name: bbdev-sample-app
       image: bbdev-sample-app:1.0  2
       command: [ "sudo", "/bin/bash", "-c", "--" ]
       runAsUser: 0 3
       resources:
         requests:
           hugepages-1Gi: 4Gi 4
           memory: 1Gi
           cpu: "4" 5
           intel.com/intel_fec_5g: '1' 6
           #intel.com/intel_fec_acc100: '1'
           #intel.com/intel_fec_lte: '1'
         limits:
           memory: 4Gi
           cpu: "4"
           hugepages-1Gi: 4Gi
           intel.com/intel_fec_5g: '1'
           #intel.com/intel_fec_acc100: '1'
           #intel.com/intel_fec_lte: '1

   1

   指定在第 1 步中创建的命名空间。

   2

   这将定义包含已编译的 DPDK 的测试镜像。

   3

   使容器在内部以 root 用户身份执行。

   4

   指定巨页大小 hugepages-1Gi 以及分配给 pod 的巨页数量。需要使用 Performance Addon Operator 配置巨页和隔离的 CPU。

   5

   指定 CPU 数量。

   6

   intel.com/intel_fec_5g 支持 N3000 5G FEC 配置测试。

   注意

   要测试 ACC100 配置，请通过删除 # 符号取消注释 intel.com/intel_fec_acc100。要测试 N3000 4G/LTE 配置，请通过删除 # 符号取消注释 intel.com/intel_fec_lte。任何时候只能有一个资源处于活动状态。

3. 创建 pod：

   $ oc apply -f pod-test.yaml

4. 检查是否创建了 pod：

   $ oc get pods -n test-bbdev

   输出示例

   NAME                                            READY           STATUS          RESTARTS        AGE
   pod-bbdev-sample-app                            1/1             Running         0               80s

5. 使用远程 shell 登录 pod-bbdev-sample-app：

   $ oc rsh pod-bbdev-sample-app

   输出示例

   sh-4.4#

6. 显示环境变量列表：

   sh-4.4# env

   输出示例

   N3000_CONTROLLER_MANAGER_METRICS_SERVICE_PORT_8443_TCP_ADDR=172.30.133.131
   SRIOV_FEC_CONTROLLER_MANAGER_METRICS_SERVICE_PORT_8443_TCP_PROTO=tcp
   DPDK_VERSION=20.11
   PCIDEVICE_INTEL_COM_INTEL_FEC_5G=0.0.0.0:1d.00.0 1
   ~/usr/bin/env
   HOSTNAME=fec-pod

   1

   这是虚拟功能的 PCI 地址。根据您在 pod-test.yaml 文件中请求的资源，这可以是以下三个 PCI 地址之一：

   • PCIDEVICE_INTEL_COM_INTEL_FEC_ACC100
   • PCIDEVICE_INTEL_COM_INTEL_FEC_5G
   • PCIDEVICE_INTEL_COM_INTEL_FEC_LTE

7. 进入 test-bbdev 目录：

   sh-4.4# cd test/test-bbdev/

   注意

   目录位于 pod 中，而不是本地计算机上。

8. 检查分配给 pod 的 CPU：

   sh-4.4# export CPU=$(cat /sys/fs/cgroup/cpuset/cpuset.cpus)
   sh-4.4# echo ${CPU}

   这将打印分配给 fec.pod 的 CPU。

   输出示例

   24,25,64,65

9. 运行 test-bbdev 应用程序来测试设备：

   sh-4.4# ./test-bbdev.py -e="-l ${CPU} -a ${PCIDEVICE_INTEL_COM_INTEL_FEC_5G}" -c validation \ -n 64 -b 32 -l 1 -v ./test_vectors/*"

   输出示例

   Executing: ../../build/app/dpdk-test-bbdev -l 24-25,64-65 0000:1d.00.0 -- -n 64 -l 1 -c validation -v ./test_vectors/bbdev_null.data -b 32
   EAL: Detected 80 lcore(s)
   EAL: Detected 2 NUMA nodes
   Option -w, --pci-whitelist is deprecated, use -a, --allow option instead
   EAL: Multi-process socket /var/run/dpdk/rte/mp_socket
   EAL: Selected IOVA mode 'VA'
   EAL: Probing VFIO support...
   EAL: VFIO support initialized
   EAL:   using IOMMU type 1 (Type 1)
   EAL: Probe PCI driver: intel_fpga_5ngr_fec_vf (8086:d90) device: 0000:1d.00.0 (socket 1)
   EAL: No legacy callbacks, legacy socket not created
   
   
   
   ===========================================================
   Starting Test Suite : BBdev Validation Tests
   Test vector file = ldpc_dec_v7813.data
   Device 0 queue 16 setup failed
   Allocated all queues (id=16) at prio0 on dev0
   Device 0 queue 32 setup failed
   Allocated all queues (id=32) at prio1 on dev0
   Device 0 queue 48 setup failed
   Allocated all queues (id=48) at prio2 on dev0
   Device 0 queue 64 setup failed
   Allocated all queues (id=64) at prio3 on dev0
   Device 0 queue 64 setup failed
   All queues on dev 0 allocated: 64
   + ------------------------------------------------------- +
   == test: validation
   dev:0000:b0:00.0, burst size: 1, num ops: 1, op type: RTE_BBDEV_OP_LDPC_DEC
   Operation latency:
           avg: 23092 cycles, 10.0838 us
           min: 23092 cycles, 10.0838 us
           max: 23092 cycles, 10.0838 us
   TestCase [ 0] : validation_tc passed
    + ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ +
    + Test Suite Summary : BBdev Validation Tests
    + Tests Total :        1
    + Tests Skipped :      0
    + Tests Passed :       1 1
    + Tests Failed :       0
    + Tests Lasted :       177.67 ms
    + ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ +

   1

   虽然可以跳过某些测试，但请确保向量测试通过。