1.3. LLM(Large Language Model) 요구 사항
기술 프리뷰 릴리스의 일환으로 OpenShift Lightspeed는 다음 SaaS(Software as a Service) Large Language Model(LLM) 공급자를 사용할 수 있습니다.
- OpenAI
- Microsoft Azure OpenAI
- IBM watsonx
많은 자체 호스팅 또는 자체 관리 모델 서버는 OpenAI와 API 호환성을 요청합니다. API 호환 모델 서버를 가리키도록 OpenShift Lightspeed OpenAI 공급자를 구성할 수 있습니다. 특히 인증과 관련하여 모델 서버가 실제로 API와 호환되는 경우 제대로 작동할 수 있습니다. 이러한 구성은 Red Hat에서 테스트하지 않았으며 사용과 관련된 문제는 기술 프리뷰 지원 범위를 벗어납니다.
Red Hat OpenShift AI를 사용한 OpenShift Lightspeed 구성의 경우 자체 Cryostat 공급자를 호스팅해야 합니다.
1.3.1. OpenAI 정보
OpenAI를 Red Hat OpenShift Lightspeed와 함께 사용하려면 OpenAI API 플랫폼에 액세스해야 합니다.
1.3.2. Azure OpenAI 정보
Red Hat OpenShift Lightspeed와 함께 Microsoft Azure를 사용하려면 Microsoft Azure OpenAI에 액세스할 수 있어야 합니다.
1.3.3. About CryostatX
IBM watsonx를 Red Hat OpenShift Lightspeed와 함께 사용하려면 IBM Cloud의 CryostatX 계정이 필요합니다.
1.3.4. About Red Hat Enterprise Linux AI
Red Hat Enterprise Linux AI는 OpenAI API와 호환되며 OpenAI 공급자와 유사한 방식으로 구성됩니다.
Red Hat Enterprise Linux AI를 (Large Language Model) Cryostat 공급자로 구성할 수 있습니다.
Red Hat Enterprise Linux는 OpenShift Lightspeed 배포와 다른 환경에 있으므로 모델 배포에서는 보안 연결을 사용하여 액세스를 허용해야 합니다. 자세한 내용은 선택 사항: 보안 끝점에서 모델에 대한 액세스 허용을 참조하십시오.
1.3.5. Red Hat OpenShift AI 정보
Red Hat OpenShift AI는 OpenAI API와 호환되며 OpenAI 공급자와 거의 동일하게 구성됩니다.
vLLM(Virtual Large Language Model) 런타임을 사용하여 Red Hat OpenShift AI의 단일 모델 서비스 플랫폼에 배포된 Large Language Model(LLM)이 필요합니다. 모델 배포가 OpenShift Lightspeed 배포와 다른 OpenShift 환경에 있는 경우 모델 배포에는 클러스터 외부에 노출하는 경로가 포함되어야 합니다. 자세한 내용은 단일 모델 제공 플랫폼 정보를 참조하십시오.
