Red Hat Summit1.3. LLM(Large Language Model) 요구 사항
LLM(Large Language Model)은 인간과 같은 언어를 해석하고 생성하는 머신러닝 모델의 한 종류입니다. virtual Assistant와 함께 Cryostat를 사용하면 Cryostat는 질문을 정확하게 해석하고 대화 방식으로 유용한 답변을 제공할 수 있습니다.
OpenShift Lightspeed 서비스는 Cryostat 공급자에 액세스할 수 있어야 합니다. 이 서비스는 you'reply를 제공하지 않으므로 OpenShift Lightspeed Operator를 설치하기 전에 Cryostat를 구성해야 합니다.
Red Hat은 특정 모델에 대한 지원을 제공하거나 모델과 관련된 제안 또는 지원 설명을 제공하지 않습니다.
OpenShift Lightspeed 서비스는 다음 SaaS(Software as a Service) Cryostat 공급자를 사용할 수 있습니다.
- OpenAI
- Microsoft Azure OpenAI
- IBM watsonx
모델을 자체 호스팅하려면 Red Hat OpenShift AI 또는 Red Hat Enterprise Linux AI를 모델 공급자로 사용할 수 있습니다.
1.3.1. IBM watsonx
IBM watsonx를 Red Hat OpenShift Lightspeed와 함께 사용하려면 IBM Cloud watsonx 의 계정이 필요합니다. 자세한 내용은 IBM watsonx as a Service 문서를 참조하십시오.
1.3.2. 오픈 AI
OpenAI를 Red Hat OpenShift Lightspeed와 함께 사용하려면 OpenAI API 플랫폼에 액세스해야 합니다. 자세한 내용은 OpenAI 개발자 플랫폼 설명서를 참조하십시오.
1.3.3. Microsoft Azure OpenAI
Red Hat OpenShift Lightspeed와 함께 Microsoft Azure를 사용하려면 Microsoft Azure OpenAI 에 액세스할 수 있어야 합니다. 자세한 내용은 Azure OpenAI 설명서 를 참조하십시오.
1.3.4. Red Hat Enterprise Linux AI
Red Hat Enterprise Linux AI는 OpenAI API와 호환되며 OpenAI 공급자와 유사한 방식으로 구성됩니다.
Red Hat Enterprise Linux AI를 Cryostat 공급자로 구성할 수 있습니다.
Red Hat Enterprise Linux는 OpenShift Lightspeed 배포와 다른 환경에 있으므로 모델 배포에서는 보안 연결을 사용하여 액세스를 허용해야 합니다. 자세한 내용은 선택 사항: 보안 끝점에서 모델에 대한 액세스 허용을 참조하십시오.
OpenShift Lightspeed 버전 1.0 이상에서는 vLLM Server 버전 0.8.4 이상을 지원합니다. Red Hat Enterprise Linux AI를 사용하여 Cryostat를 자체 호스트하는 경우 vLLM 서버를 추론 엔진으로 사용할 수 있습니다.
1.3.5. Red Hat OpenShift AI
Red Hat OpenShift AI는 OpenAI API와 호환되며 OpenAI 공급자와 거의 동일하게 구성됩니다.
vLLM(Virtual Large Language Model) 런타임을 사용하는 Red Hat OpenShift AI 단일 모델 제공 플랫폼에 Cryostat를 배포해야 합니다. 모델 배포가 OpenShift Lightspeed 배포와 다른 OpenShift 환경에 있는 경우 클러스터 외부에 모델 배포를 노출하는 경로를 포함합니다. 자세한 내용은 단일 모델 제공 플랫폼 정보를 참조하십시오.
OpenShift Lightspeed 버전 1.0 이상에서는 vLLM Server 버전 0.8.4 이상을 지원합니다. Red Hat OpenShift AI를 사용하여 Cryostat를 자체 호스팅할 때 vLLM 서버를 추론 엔진으로 사용할 수 있습니다.
'%20d='M201.5%20305.5c-13.8%200-24.9-11.1-24.9-24.6%200-13.8%2011.1-24.9%2024.9-24.9%2013.6%200%2024.6%2011.1%2024.6%2024.9%200%2013.6-11.1%2024.6-24.6%2024.6zM504%20256c0%20137-111%20248-248%20248S8%20393%208%20256%20119%208%20256%208s248%20111%20248%20248zm-132.3-41.2c-9.4%200-17.7%203.9-23.8%2010-22.4-15.5-52.6-25.5-86.1-26.6l17.4-78.3%2055.4%2012.5c0%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.3%2024.9-24.9s-11.1-24.9-24.9-24.9c-9.7%200-18%205.8-22.1%2013.8l-61.2-13.6c-3-.8-6.1%201.4-6.9%204.4l-19.1%2086.4c-33.2%201.4-63.1%2011.3-85.5%2026.8-6.1-6.4-14.7-10.2-24.1-10.2-34.9%200-46.3%2046.9-14.4%2062.8-1.1%205-1.7%2010.2-1.7%2015.5%200%2052.6%2059.2%2095.2%20132%2095.2%2073.1%200%20132.3-42.6%20132.3-95.2%200-5.3-.6-10.8-1.9-15.8%2031.3-16%2019.8-62.5-14.9-62.5zM302.8%20331c-18.2%2018.2-76.1%2017.9-93.6%200-2.2-2.2-6.1-2.2-8.3%200-2.5%202.5-2.5%206.4%200%208.6%2022.8%2022.8%2087.3%2022.8%20110.2%200%202.5-2.2%202.5-6.1%200-8.6-2.2-2.2-6.1-2.2-8.3%200zm7.7-75c-13.6%200-24.6%2011.1-24.6%2024.9%200%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.1%2024.9-24.6%200-13.8-11-24.9-24.9-24.9z'/%3e%3c/svg%3e){kind=small}