1.4. CLI를 사용하여 Lightspeed 사용자 정의 리소스 파일 생성


CR(사용자 정의 리소스) 파일에는 Operator가 OpenShift Lightspeed를 배포하는 데 사용하는 정보가 포함되어 있습니다. CR 파일의 특정 내용은 각 LLM( Large Language Model) 공급자에 대해 고유합니다. CR 파일을 생성하려면 사용 중인 Cryostat 공급자에 대한 구성 파일을 선택합니다.

사전 요구 사항

  • OpenShift CLI(oc)에 액세스할 수 있으며 cluster-admin 역할의 사용자로 로그인됩니다. 또는 클러스터 범위 CR 파일을 생성할 수 있는 권한이 있는 사용자 계정에 로그인됩니다.
  • OpenShift Lightspeed 서비스와 함께 사용할 수 있는 Cryostat 공급자를 사용할 수 있습니다.
  • OpenShift Lightspeed Operator가 설치되어 있습니다.

프로세스

  1. 사용하는 Cryostat 공급자에 대한 YAML 콘텐츠가 포함된 OLSConfig 파일을 만듭니다.

    OpenAI CR 파일

    apiVersion: ols.openshift.io/v1alpha1
    kind: OLSConfig
    metadata:
      name: cluster
    spec:
      llm:
        providers:
          - name: myOpenai
            type: openai
            credentialsSecretRef:
              name: credentials
            url: https://api.openai.com/v1
            models:
              - name: <model_name>
      ols:
        defaultModel: <model_name>
        defaultProvider: myOpenai
    Copy to Clipboard Toggle word wrap

    Red Hat Enterprise Linux AI CR 파일

    apiVersion: ols.openshift.io/v1alpha1
    kind: OLSConfig
    metadata:
      name: cluster
    spec:
      llm:
        providers:
        - credentialsSecretRef:
            name: <rhelai_api_keys> 
    1
    
          models:
          - name: models/<model_name>
          name: rhelai
          type: rhelai_vllm
          url: <url> 
    2
    
      ols:
        defaultProvider: rhelai
        defaultModel: models/<model_name>
        additionalCAConfigMapRef:
          name: openshift-service-ca.crt
    Copy to Clipboard Toggle word wrap

    1
    기본적으로 Red Hat Enterprise Linux AI API 키에는 요청의 일부로 토큰이 필요합니다. Red Hat Enterprise Linux AI 구성에 토큰이 필요하지 않은 경우 인증 요청의 토큰 값을 유효한 문자열로 설정해야 합니다.
    2
    URL 끝점은 v1 로 끝나야 합니다. 예: https://http://3.23.103.8:8000/v1.

    Red Hat OpenShift AI CR 파일

    apiVersion: ols.openshift.io/v1alpha1
    kind: OLSConfig
    metadata:
      name: cluster
    spec:
      llm:
        providers:
        - credentialsSecretRef:
            name: <rhoai_api_keys> 
    1
    
          models:
          - name: <model_name>
          name: red_hat_openshift_ai
          type: rhoai_vllm
          url: <url> 
    2
    
      ols:
        defaultProvider: red_hat_openshift_ai
        defaultModel: <model_name>
    Copy to Clipboard Toggle word wrap

    1
    기본적으로 Red Hat OpenShift AI API 키에는 요청의 일부로 토큰이 필요합니다. Red Hat OpenShift AI 구성에 토큰이 필요하지 않은 경우 인증 요청의 토큰 값을 유효한 문자열로 설정해야 합니다.
    2
    URL 끝점은 v1 로 끝나야 합니다. For example, https://<model_name>.<domain_name>.com:443/v1.

    Microsoft Azure OpenAI CR file

    apiVersion: ols.openshift.io/v1alpha1
    kind: OLSConfig
    metadata:
      name: cluster
    spec:
      llm:
        providers:
          - credentialsSecretRef:
              name: credentials
            apiVersion: <api_version_for_azure_model>
            deploymentName: <azure_ai_deployment_name>
            models:
              - name: <model_name>
            name: myAzure
            type: azure_openai
            url: <azure_ai_deployment_url>
      ols:
        defaultModel: <model_name>
        defaultProvider: myAzure
    Copy to Clipboard Toggle word wrap

    IBM watsonx CR 파일

    apiVersion: ols.openshift.io/v1alpha1
    kind: OLSConfig
    metadata:
      name: cluster
    spec:
      llm:
        providers:
          - name: myWatsonx
            type: watsonx
            credentialsSecretRef:
              name: credentials
            url: <ibm_watsonx_deployment_name>
            projectID: <ibm_watsonx_project_id>
            models:
              - name: ibm/<model_name>
      ols:
        defaultModel: ibm/<model_name>
        defaultProvider: myWatsonx
    Copy to Clipboard Toggle word wrap

  2. 다음 명령을 실행합니다.

    $ oc create -f /path/to/config-cr.yaml
    Copy to Clipboard Toggle word wrap

    Operator는 YAML 구성 파일의 정보를 사용하여 OpenShift Lightspeed를 배포합니다.

1.4.1. trusted-ca 인증서 및 Cryostat 공급자 지원

TLS 인증서를 사용하여 대용량 언어 모델(LLM) 및 OpenShift Lightspeed Service와의 통신을 설정할 수 있습니다. 일반적으로 사용자 지정 프록시를 사용하여 Cryostat와 통신하는 경우 이 작업이 필요합니다.

OpenShift Lightspeed 서비스는 다음 Cryostat 공급자를 위해 trusted-ca 인증서 추가를 지원합니다.

  • Red Hat Enterprise Linux AI vLLM
  • Red Hat OpenShift AI vLLM
  • OpenAI
  • Microsoft Azure OpenAI

trusted-ca 인증서를 추가하려면 인증서가 포함된 ConfigMap 오브젝트를 생성해야 합니다. 그런 다음 다음 예와 같이 오브젝트 이름을 OLSConfig CR(사용자 정의 리소스) 파일에 추가합니다.

ols:
  additionalCAConfigMapRef:
    name: <config_map_name>
Copy to Clipboard Toggle word wrap

1.4.2. Cryostat에 대한 trusted-ca 인증서로 OpenShift Lightspeed 구성

대규모 언어 모델(LLM) 공급자에 연결하도록 trusted-ca 인증서로 OpenShift Lightspeed를 구성합니다.

참고

사용 중인 Cryostat 공급자에 OpenShift Lightspeed 서비스를 인증하기 위해 trusted-ca 인증서가 필요한 경우 이 절차를 수행해야 합니다. Cryostat 공급자에 서비스를 인증하는 trusted-ca 인증서가 필요하지 않은 경우 이 절차를 건너뛰어야 합니다.

프로세스

  1. 인증서 파일의 내용을 복사하여 caCertFileName 이라는 파일에 붙여넣습니다.
  2. 다음 명령을 실행하여 trusted-certs 라는 ConfigMap 오브젝트를 생성합니다.

    $ oc create configmap trusted-certs --from-file=caCertFileName --namespace openshift-lightspeed
    Copy to Clipboard Toggle word wrap

    출력 예

    kind: ConfigMap
    apiVersion: v1
    metadata:
      name: trusted-certs
      namespace: openshift-lightspeed
    data:
      caCertFileName: | 
    1
    
        -----BEGIN CERTIFICATE-----
        .
        .
        .
        -----END CERTIFICATE-----
    Copy to Clipboard Toggle word wrap

    1
    Cryostat 공급자에 연결하는 데 필요한 CA 인증서를 지정합니다. 하나 이상의 인증서를 포함할 수 있습니다.
  3. 방금 생성한 ConfigMap 오브젝트의 이름을 포함하도록 OLSConfig 사용자 지정 리소스 파일을 업데이트합니다.

    Red Hat Enterprise Linux AI CR 파일의 예

    apiVersion: ols.openshift.io/v1alpha1
    kind: OLSConfig
    metadata:
      name: cluster
    spec:
      ols:
        defaultProvider: rhelai
        defaultModel: models/<model_name>
        additionalCAConfigMapRef:
          name: trusted-certs 
    1
    Copy to Clipboard Toggle word wrap

    1
    ConfigMap 오브젝트의 이름을 지정합니다.
  4. 사용자 정의 CR을 생성합니다.

    $ oc apply -f <olfconfig_cr_filename>
    Copy to Clipboard Toggle word wrap
맨 위로 이동
Red Hat logoGithubredditYoutubeTwitter

자세한 정보

평가판, 구매 및 판매

커뮤니티

Red Hat 문서 정보

Red Hat을 사용하는 고객은 신뢰할 수 있는 콘텐츠가 포함된 제품과 서비스를 통해 혁신하고 목표를 달성할 수 있습니다. 최신 업데이트를 확인하세요.

보다 포괄적 수용을 위한 오픈 소스 용어 교체

Red Hat은 코드, 문서, 웹 속성에서 문제가 있는 언어를 교체하기 위해 최선을 다하고 있습니다. 자세한 내용은 다음을 참조하세요.Red Hat 블로그.

Red Hat 소개

Red Hat은 기업이 핵심 데이터 센터에서 네트워크 에지에 이르기까지 플랫폼과 환경 전반에서 더 쉽게 작업할 수 있도록 강화된 솔루션을 제공합니다.

Theme

© 2025 Red Hat