第 7 章 配置 Guardrails Orchestrator 服务

流程

1. 在 YAML 文件中定义 ConfigMap 对象，以指定 chat_generation 和 detectors 服务。例如，使用以下内容创建一个名为 orchestrator_cm.yaml 的文件：

   orchestrator_cm.yaml示例

   kind: ConfigMap
   apiVersion: v1
   metadata:
     name: fms-orchestr8-config-nlp
   data:
     config.yaml: |
       chat_generation: 

   1

   
         service:
           hostname: <CHAT_GENERATION_HOSTNAME>
           port: the generation service port (for example 8033)
   
       detectors:       

   2

   
         regex_language:
           type: text_contents
           service:
               hostname: "127.0.0.1"
               port: 8080
           chunker_id: whole_doc_chunker
           default_threshold: 0.5
         hap:
           type: text_contents
           service:
             hostname: guardrails-detector-ibm-hap-predictor.model-namespace.svc.cluster.local
             port: the generation service port (for example 8000)
           chunker_id: whole_doc_chunker
           default_threshold: 0.5

   Copy to Clipboard Toggle word wrap

   1

   用于聊天生成的服务，引用您添加保护rails的命名空间中部署的 LLM。

   2

   负责在文本 span 上运行特定类型的内容的服务列表。

2. 部署 orchestrator_cm.yaml 配置映射：

   $ oc apply -f orchestrator_cm.yaml -n <TEST_NAMESPACE>

   Copy to Clipboard Toggle word wrap

3. 指定在 GuardrailsOrchestrator 自定义资源(CR)中创建的之前创建的 ConfigMap 对象。例如，使用以下内容创建名为 orchestrator_cr.yaml 的文件：

   orchestrator_cr.yaml CR 示例

   apiVersion: trustyai.opendatahub.io/v1alpha1
   kind: GuardrailsOrchestrator
   metadata:
     name: gorch-sample
   spec:
     orchestratorConfig: "fms-orchestr8-config-nlp"
     replicas: 1

   Copy to Clipboard Toggle word wrap

4. 部署编配器 CR，在命名空间中创建服务帐户、部署、服务和路由对象：

   oc apply -f orchestrator_cr.yaml -n <TEST_NAMESPACE>

   Copy to Clipboard Toggle word wrap

验证

1. 确认编配器和 LLM pod 正在运行：

   $ oc get pods -n <TEST_NAMESPACE>

   Copy to Clipboard Toggle word wrap

   响应示例

   NAME                                       READY   STATUS    RESTARTS   AGE
   gorch-test-55bf5f84d9-dd4vm                3/3     Running   0          3h53m
   ibm-container-deployment-bd4d9d898-52r5j   1/1     Running   0          3h53m
   ibm-hap-predictor-5d54c877d5-rbdms         1/1     Running   0          3h53m
   llm-container-deployment-bd4d9d898-52r5j   1/1     Running   0          3h53m
   llm-predictor-5d54c877d5-rbdms             1/1     Running   0          57m

   Copy to Clipboard Toggle word wrap

2. 查询编配器路由的 /health 端点，以检查检测器和生成器服务的当前状态。如果返回 200 OK 响应，则服务可以正常工作：

   $ GORCH_ROUTE_HEALTH=$(oc get routes gorch-test-health -o jsonpath='{.spec.host}')

   Copy to Clipboard Toggle word wrap

   $ curl -v https://$GORCH_ROUTE_HEALTH/health

   Copy to Clipboard Toggle word wrap

   响应示例

   *   Trying ::1:8034...
   * connect to ::1 port 8034 failed: Connection refused
   *   Trying 127.0.0.1:8034...
   * Connected to localhost (127.0.0.1) port 8034 (#0)
   > GET /health HTTP/1.1
   > Host: localhost:8034
   > User-Agent: curl/7.76.1
   > Accept: */*
   >
   * Mark bundle as not supporting multiuse
   < HTTP/1.1 200 OK
   < content-type: application/json
   < content-length: 36
   < date: Fri, 31 Jan 2025 14:04:25 GMT
   <
   * Connection #0 to host localhost left intact
   {"fms-guardrails-orchestr8":"0.1.0"}

   Copy to Clipboard Toggle word wrap