第 12 章 配置 API 密钥身份验证

流程

1. 使用 API 密钥身份验证启动 inference 服务器：

   $ podman run --rm -it \
     --device nvidia.com/gpu=all \
     --security-opt=label=disable \
     --shm-size=4GB -p 8000:8000 \
     -v ./rhaii-cache:/opt/app-root/src/.cache \
     registry.redhat.io/rhaii-early-access/vllm-cuda-rhel9:3.5.0-ea.2 \
     --model RedHatAI/Llama-3.2-1B-Instruct-FP8 \
     --api-key "<your_api_key>"

2. 使用 Authorization 标头中的 API 密钥发送请求：

   $ curl http://localhost:8000/v1/chat/completions \
     -H "Content-Type: application/json" \
     -H "Authorization: Bearer <your_api_key>" \
     -d '{
       "model": "RedHatAI/Llama-3.2-1B-Instruct-FP8",
       "messages": [{"role": "user", "content": "Hello!"}]
     }'