1.4. CLI를 사용하여 Lightspeed 사용자 정의 리소스 파일 생성
CR(사용자 정의 리소스) 파일에는 Operator가 OpenShift Lightspeed를 배포하는 데 사용하는 정보가 포함되어 있습니다. CR 파일의 특정 내용은 각 LLM( Large Language Model) 공급자에 대해 고유합니다. CR 파일을 생성하려면 사용 중인 Cryostat 공급자에 대한 구성 파일을 선택합니다.
사전 요구 사항
-
OpenShift CLI(
oc
)에 액세스할 수 있으며cluster-admin
역할의 사용자로 로그인됩니다. 또는 클러스터 범위 CR 파일을 생성할 수 있는 권한이 있는 사용자 계정에 로그인됩니다. - OpenShift Lightspeed 서비스와 함께 사용할 수 있는 Cryostat 공급자를 사용할 수 있습니다.
- OpenShift Lightspeed Operator가 설치되어 있습니다.
프로세스
사용하는 Cryostat 공급자에 대한 YAML 콘텐츠가 포함된
OLSConfig
파일을 만듭니다.OpenAI CR 파일
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Red Hat Enterprise Linux AI CR 파일
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Red Hat OpenShift AI CR 파일
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Microsoft Azure OpenAI CR file
Copy to Clipboard Copied! Toggle word wrap Toggle overflow IBM watsonx CR 파일
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행합니다.
oc create -f /path/to/config-cr.yaml
$ oc create -f /path/to/config-cr.yaml
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Operator는 YAML 구성 파일의 정보를 사용하여 OpenShift Lightspeed를 배포합니다.
1.4.1. trusted-ca 인증서 및 Cryostat 공급자 지원 링크 복사링크가 클립보드에 복사되었습니다!
TLS 인증서를 사용하여 대용량 언어 모델(LLM) 및 OpenShift Lightspeed Service와의 통신을 설정할 수 있습니다. 일반적으로 사용자 지정 프록시를 사용하여 Cryostat와 통신하는 경우 이 작업이 필요합니다.
OpenShift Lightspeed 서비스는 다음 Cryostat 공급자를 위해 trusted-ca 인증서 추가를 지원합니다.
- Red Hat Enterprise Linux AI vLLM
- Red Hat OpenShift AI vLLM
- OpenAI
- Microsoft Azure OpenAI
trusted-ca 인증서를 추가하려면 인증서가 포함된 ConfigMap
오브젝트를 생성해야 합니다. 그런 다음 다음 예와 같이 오브젝트 이름을 OLSConfig
CR(사용자 정의 리소스) 파일에 추가합니다.
ols: additionalCAConfigMapRef: name: <config_map_name>
ols:
additionalCAConfigMapRef:
name: <config_map_name>
1.4.2. Cryostat에 대한 trusted-ca 인증서로 OpenShift Lightspeed 구성 링크 복사링크가 클립보드에 복사되었습니다!
대규모 언어 모델(LLM) 공급자에 연결하도록 trusted-ca 인증서로 OpenShift Lightspeed를 구성합니다.
사용 중인 Cryostat 공급자에 OpenShift Lightspeed 서비스를 인증하기 위해 trusted-ca 인증서가 필요한 경우 이 절차를 수행해야 합니다. Cryostat 공급자에 서비스를 인증하는 trusted-ca 인증서가 필요하지 않은 경우 이 절차를 건너뛰어야 합니다.
프로세스
-
인증서 파일의 내용을 복사하여
caCertFileName
이라는 파일에 붙여넣습니다. 다음 명령을 실행하여
trusted-certs
라는ConfigMap
오브젝트를 생성합니다.oc create configmap trusted-certs --from-file=caCertFileName --namespace openshift-lightspeed
$ oc create configmap trusted-certs --from-file=caCertFileName --namespace openshift-lightspeed
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- Cryostat 공급자에 연결하는 데 필요한 CA 인증서를 지정합니다. 하나 이상의 인증서를 포함할 수 있습니다.
방금 생성한
ConfigMap
오브젝트의 이름을 포함하도록OLSConfig
사용자 지정 리소스 파일을 업데이트합니다.Red Hat Enterprise Linux AI CR 파일의 예
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
ConfigMap
오브젝트의 이름을 지정합니다.
사용자 정의 CR을 생성합니다.
oc apply -f <olfconfig_cr_filename>
$ oc apply -f <olfconfig_cr_filename>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow