Este contenido no está disponible en el idioma seleccionado.

Chapter 7. Deprecated metrics

The following metrics are deprecated and will be removed in a future version of AI Inference Server:

vllm:num_requests_swapped
vllm:cpu_cache_usage_perc
vllm:cpu_prefix_cache_hit_rate (KV cache offloading is not used in V1).
vllm:gpu_prefix_cache_hit_rate. This metric is replaced by queries+hits counters in V1.
vllm:time_in_queue_requests. This metric is duplicated by vllm:request_queue_time_seconds.
vllm:model_forward_time_milliseconds
vllm:model_execute_time_milliseconds. Prefill, decode or inference time metrics should be used instead.

Important

When metrics are deprecated in version X.Y, they are hidden in version X.Y+1 but can be re-enabled by using the --show-hidden-metrics-for-version=X.Y escape hatch. Deprecated metrics are completely removed in the following version X.Y+2.

Volver arriba

Github

Youtube

Twitter

Aprender

Pruebe, compre y venda

Comunidades

Acerca de la documentación de Red Hat

Ayudamos a los usuarios de Red Hat a innovar y alcanzar sus objetivos con nuestros productos y servicios con contenido en el que pueden confiar. Explore nuestras recientes actualizaciones.

Hacer que el código abierto sea más inclusivo

Red Hat se compromete a reemplazar el lenguaje problemático en nuestro código, documentación y propiedades web. Para más detalles, consulte el Blog de Red Hat.

Acerca de Red Hat

Ofrecemos soluciones reforzadas que facilitan a las empresas trabajar en plataformas y entornos, desde el centro de datos central hasta el perímetro de la red.