7.4. 配置内置检测器和保护rails 网关

流程

1. 在 YAML 文件中定义 ConfigMap 对象，以指定 regexDetectorImage。例如，使用以下内容创建一个名为 regex_image_cm.yaml 的 YAML 文件：

   regex_gateway_images_cm.yaml示例

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: gorch-regex-gateway-image-config
   data:
     regexDetectorImage: 'quay.io/repository/trustyai/regex-detector@sha256:efab6cd8b637b9c35d311aaf639dfedee7d28de3ee07b412ab473deadecd3606'            

   1

   
     GatewayImage: 'quay.io/repository/trustyai/vllm-orchestrator-gateway@sha256:c511b386d61a728acdfe8a1ac7a16b3774d072dd053718e5b9c5fab0f025ac3b' 

   2

   1

   regex detector 是一个 sidecar 镜像，它提供基于 regex 的检测。

   2

   guardrails 网关是一个 sidecar 镜像，它模拟 vLLM chat completions API 并保存预设置的检测器配置。

2. 部署 regex_gateway_images_cm.yaml 配置映射：

   $ oc apply -f regex_gateway_images_cm.yaml -n <TEST_NAMESPACE>

3. 定义 guardrails 网关 ConfigMap 对象，以指定 检测器 和路由。例如，使用以下内容创建一个名为 detectors_cm.yaml 的 YAML 文件：

   detectors_cm.yaml示例

   kind: ConfigMap
   apiVersion: v1
   metadata:
     name: fms-orchestr8-config-gateway
     labels:
       app: fmstack-nlp
   data:
     config.yaml: |
       orchestrator:   

   1

   
         host: "localhost"
         port: 8032
       detectors:      

   2

   
         - name: regex_language
           input: true 

   3

   
           output: true
           detector_params:
             regex:
               - email
               - us-social-security-number
               - credit-card
               - ipv4
               - ipv6
               - us-phone-number
               - uk-post-code
               - $CUSTOM_REGEX
         - name: hap
           detector_params: {}
       routes:         

   4

   
         - name: all
           detectors:
             - regex_language
             - hap
         - name: passthrough
           detectors:

   1

   编配器服务。

   2

   用于常见检测操作的预配置正则表达式列表。这些正则表达式会检测个人识别信息，如电子邮件 和 信用卡。

   3

   detector 将用于输入和输出。

   4

   为检测器生成的端点。例如，pii 由 $GUARDRAILS_GATEWAY_URL/pii/v1/chat/completions 提供，并使用 regex detector。passthrough preset 不使用任何 detectors。

4. 部署 guardrails 网关 detectors_cm.yaml 配置映射：

   $ oc apply -f detectors_cm.yaml -n <TEST_NAMESPACE>

5. 指定您在 GuardrailsOrchestrator 自定义资源(CR)中创建的 ConfigMap 对象。例如，使用以下内容创建一个名为 orchestrator_cr.yaml 的 YAML 文件：

   orchestrator_cr.yaml CR 示例

   apiVersion: trustyai.opendatahub.io/v1alpha1
   kind: GuardrailsOrchestrator
   metadata:
     name: gorch-sample
   spec:
     orchestratorConfig: "fms-orchestr8-config-nlp"
     enableBuiltInDetectors: True  

   1

   
     enableGuardrailsGateway: True  

   2

   
     guardrailsGatewayConfig: "fms-orchestr8-config-gateway" 

   3

   
     replicas: 1

   1

   enableBuiltInDetectors 字段（如果设为 True ）会将内置检测器注入编配器 pod 中。

   2

   enableGuardrailsGateway 字段（如果设为 True ）将 guardrails 网关注入编配器 pod。

   3

   guardrailsGatewayConfig 字段指定 ConfigMap 资源的名称，用于重新路由编配器和 regex detector 路由到特定路径。

6. 部署编配器自定义资源。此步骤在命名空间中创建服务帐户、部署、服务和路由对象。

   oc apply -f orchestrator_cr.yaml -n <TEST_NAMESPACE>

验证

1. 使用编配器的 /info 端点检查编配器 pod 的健康状况：

   GORCH_ROUTE=$(oc get routes guardrails-orchestrator-health -o jsonpath='{.spec.host}')
   curl -s https://$GORCH_ROUTE/info | jq

   响应示例

   {
     "services": {
       "chat_generation": {
         "status": "HEALTHY"
       },
       "regex": {
         "status": "HEALTHY"
       }
     }
   }

   在本例中，Guardrails Orchestrator 通过单个 chat_generation LLM 协调来自 regex detector 的请求。