3.10. Réduire la consommation de ressources d'OpenShift Pipelines

Chaque tâche consiste en un certain nombre d'étapes à exécuter dans un ordre particulier défini dans le champ steps de la ressource Task. Chaque tâche s'exécute comme un pod, et chaque étape s'exécute comme un conteneur au sein de ce pod.

Les étapes sont exécutées une par une. Le module qui exécute la tâche ne demande que les ressources nécessaires à l'exécution d'une seule image de conteneur (étape) de la tâche à la fois, et ne stocke donc pas de ressources pour toutes les étapes de la tâche.

Le champ Resources de la spécification steps spécifie les limites de la consommation de ressources. Par défaut, les demandes de ressources pour l'unité centrale, la mémoire et le stockage éphémère sont réglées sur les valeurs BestEffort (zéro) ou sur les minimums fixés par les plages de limites dans ce projet.

spec:
  steps:
  - name: <step_name>
    resources:
      requests:
        memory: 2Gi
        cpu: 600m
      limits:
        memory: 4Gi
        cpu: 900m

spec:
  steps:
  - name: <step_name>
    resources:
      requests:
        memory: 2Gi
        cpu: 600m
      limits:
        memory: 4Gi
        cpu: 900m

Lorsque le paramètre LimitRange et les valeurs minimales pour les demandes de ressources de conteneur sont spécifiés dans le projet dans lequel le pipeline et les exécutions de tâches sont exécutés, Red Hat OpenShift Pipelines examine toutes les valeurs LimitRange dans le projet et utilise les valeurs minimales au lieu de zéro.

apiVersion: v1
kind: LimitRange
metadata:
  name: <limit_container_resource>
spec:
  limits:
  - max:
      cpu: "600m"
      memory: "2Gi"
    min:
      cpu: "200m"
      memory: "100Mi"
    default:
      cpu: "500m"
      memory: "800Mi"
    defaultRequest:
      cpu: "100m"
      memory: "100Mi"
    type: Container
...

apiVersion: v1
kind: LimitRange
metadata:
  name: <limit_container_resource>
spec:
  limits:
  - max:
      cpu: "600m"
      memory: "2Gi"
    min:
      cpu: "200m"
      memory: "100Mi"
    default:
      cpu: "500m"
      memory: "800Mi"
    defaultRequest:
      cpu: "100m"
      memory: "100Mi"
    type: Container
...

Lorsque vous avez défini des limites de ressources pour les conteneurs de votre pod, OpenShift Container Platform additionne les limites de ressources demandées lorsque tous les conteneurs s'exécutent simultanément.

Pour consommer la quantité minimale de ressources nécessaires à l'exécution d'une étape à la fois dans la tâche invoquée, Red Hat OpenShift Pipelines demande le maximum de CPU, de mémoire et de stockage éphémère comme spécifié dans l'étape qui nécessite la plus grande quantité de ressources. Cela garantit que les besoins en ressources de toutes les étapes sont satisfaits. Les demandes autres que les valeurs maximales sont fixées à zéro.

Toutefois, ce comportement peut entraîner une utilisation des ressources plus importante que nécessaire. Si vous utilisez des quotas de ressources, cela peut également conduire à des pods non ordonnançables.

Prenons l'exemple d'une tâche à deux étapes qui utilise des scripts et qui ne définit pas de limites de ressources ni de demandes. Le pod résultant a deux conteneurs init (l'un pour la copie du point d'entrée, l'autre pour l'écriture des scripts) et deux conteneurs, un pour chaque étape.

OpenShift Container Platform utilise la plage de limites définie pour le projet afin de calculer les demandes de ressources requises et les limites. Pour cet exemple, définissez la plage de limites suivante dans le projet :

apiVersion: v1
kind: LimitRange
metadata:
  name: mem-min-max-demo-lr
spec:
  limits:
  - max:
      memory: 1Gi
    min:
      memory: 500Mi
    type: Container

apiVersion: v1
kind: LimitRange
metadata:
  name: mem-min-max-demo-lr
spec:
  limits:
  - max:
      memory: 1Gi
    min:
      memory: 500Mi
    type: Container

Dans ce scénario, chaque conteneur init utilise une demande de mémoire de 1Gi (la limite maximale de la plage de limites), et chaque conteneur utilise une demande de mémoire de 500Mi. Ainsi, la demande totale de mémoire pour le pod est de 2Gi.

Si la même plage de limites est utilisée avec une tâche de dix étapes, la demande finale de mémoire est de 5Gi, ce qui est supérieur à ce dont chaque étape a réellement besoin, c'est-à-dire 500Mi (puisque chaque étape s'exécute l'une après l'autre).

Ainsi, pour réduire la consommation de ressources, vous pouvez :