Red Hat Summit1장. OpenShift AI의 아키텍처
Red Hat OpenShift AI는 Red Hat OpenShift Dedicated 및 Amazon Web Services (ROSA 클래식)의 Red Hat OpenShift Service의 애드온으로 제공되는 완전히 Red Hat 관리형 클라우드 서비스입니다.
OpenShift AI는 다음 구성 요소 및 서비스를 통합합니다.
서비스 계층에서 다음을 수행합니다.
- OpenShift AI 대시보드
OpenShift AI 환경에 대해 사용 및 설치된 애플리케이션과 튜토리얼, 퀵 스타트 예제 및 문서와 같은 학습 리소스를 보여주는 고객용 대시보드입니다. 사용자 관리, 클러스터 설정, 액셀러레이터 프로필, 하드웨어 프로필 및 워크벤치 이미지 설정과 같은 대시보드에서 관리 기능에 액세스할 수도 있습니다. 또한 데이터 과학자는 대시보드에서 자체 프로젝트를 만들 수 있습니다. 이를 통해 데이터 과학 작업을 단일 프로젝트로 구성할 수 있습니다.
중요기본적으로 하드웨어 프로필은 대시보드 탐색 메뉴 및 사용자 인터페이스에 숨겨져 있지만 액셀러레이터 프로필은 계속 표시됩니다. 또한 더 이상 사용되지 않는 가속기 프로필 기능과 관련된 사용자 인터페이스 구성 요소가 계속 표시됩니다. 대시보드 탐색 메뉴에서 설정
하드웨어 프로필 옵션을 표시하려면 OpenShift의 OdhDashboardConfigCR(사용자 정의 리소스)에서disableHardwareProfiles값을false로 설정합니다. 대시보드 구성 옵션 설정에 대한 자세한 내용은 대시보드 사용자 지정을 참조하십시오.- 모델 서비스
- 데이터 과학자는 숙련된 머신 러닝 모델을 배포하여 프로덕션 환경에서 지능형 애플리케이션을 제공할 수 있습니다. 배포 후 애플리케이션은 배포된 API 엔드포인트를 사용하여 모델에 요청을 보낼 수 있습니다.
- 데이터 과학 파이프라인
- 데이터 과학자는 Docker 컨테이너를 사용하여 데이터 사이언스 파이프라인 2.0을 사용하여 이식 가능한 ML(Machine learning) 워크플로를 구축할 수 있습니다. 데이터 사이언스 파이프라인을 통해 데이터 과학자는 데이터 사이언스 모델을 개발할 때 워크플로를 자동화할 수 있습니다.
- Cryostatpyter(Red Hat 관리)
- 데이터 과학자가 기본 독립 실행형 워크벤치를 구성하고 popyterLab에서 머신 러닝 모델을 개발할 수 있는 Red Hat 관리형 애플리케이션.
- 분산 워크로드
- 데이터 과학자는 여러 노드를 병렬로 사용하여 머신 러닝 모델을 학습하거나 데이터를 보다 신속하게 처리할 수 있습니다. 이 접근 방식은 작업 완료 시간을 크게 줄이고 더 큰 데이터 세트 및 더 복잡한 모델을 사용할 수 있습니다.
- R&D(Retrieve-Augmented Generation)
- 데이터 과학자와 AI 엔지니어는 통합된 LARa Stack Operator가 제공하는 Retrieval-Augmented Generation (RAG) 기능을 활용할 수 있습니다. 데이터 과학자 및 AI 엔지니어는 대규모 언어 모델 추론, 의미 검색 및 벡터 데이터베이스 스토리지를 결합하여 데이터 사이언스 프로젝트 내에서 자체 데이터 집합을 기반으로 복잡한 쿼리에 대해 조정되고 정확하며 검증 가능한 응답을 얻을 수 있습니다.
관리 계층에서 다음을 수행합니다.
- Red Hat OpenShift AI Operator
- OpenShift AI의 일부인 모든 구성 요소 및 하위 요소를 배포하고 유지 관리하는 meta-operator입니다.
- 모니터링 서비스
- Alertmanager, OpenShift Telemetry 및 Prometheus는 함께 OpenShift AI에서 지표를 수집하고 모니터링 및 청구 목적에 유용한 방법으로 해당 지표를 구성하고 표시합니다. Alertmanager의 경고는 PagerDuty로 전송되며, 관리 클라우드 서비스에 대한 문제를 Red Hat에 알립니다.
OpenShift Cluster Manager에 Red Hat OpenShift AI 애드온을 설치하면 다음과 같은 새 프로젝트가 생성됩니다.
-
redhat-ods-operator프로젝트에는 Red Hat OpenShift AI Operator가 포함되어 있습니다. -
redhat-ods-applications프로젝트에는 대시보드 및 OpenShift AI의 기타 필수 구성 요소가 포함되어 있습니다. -
redhat-ods-monitoring프로젝트에는 모니터링 및 청구를 위한 서비스가 포함되어 있습니다. -
rhods-notebooks프로젝트는 기본 워크벤치가 기본적으로 배포되는 위치입니다.
귀하 또는 데이터 과학자는 머신러닝 모델을 사용할 애플리케이션에 대한 추가 프로젝트를 생성해야 합니다.
대시보드의 애플리케이션 타일에서 특별히 지시하지 않는 한 OpenShift AI 애드온과 연결된 네임스페이스에 ISV(독립 소프트웨어 벤더) 애플리케이션을 설치하지 마십시오.
'%20d='M201.5%20305.5c-13.8%200-24.9-11.1-24.9-24.6%200-13.8%2011.1-24.9%2024.9-24.9%2013.6%200%2024.6%2011.1%2024.6%2024.9%200%2013.6-11.1%2024.6-24.6%2024.6zM504%20256c0%20137-111%20248-248%20248S8%20393%208%20256%20119%208%20256%208s248%20111%20248%20248zm-132.3-41.2c-9.4%200-17.7%203.9-23.8%2010-22.4-15.5-52.6-25.5-86.1-26.6l17.4-78.3%2055.4%2012.5c0%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.3%2024.9-24.9s-11.1-24.9-24.9-24.9c-9.7%200-18%205.8-22.1%2013.8l-61.2-13.6c-3-.8-6.1%201.4-6.9%204.4l-19.1%2086.4c-33.2%201.4-63.1%2011.3-85.5%2026.8-6.1-6.4-14.7-10.2-24.1-10.2-34.9%200-46.3%2046.9-14.4%2062.8-1.1%205-1.7%2010.2-1.7%2015.5%200%2052.6%2059.2%2095.2%20132%2095.2%2073.1%200%20132.3-42.6%20132.3-95.2%200-5.3-.6-10.8-1.9-15.8%2031.3-16%2019.8-62.5-14.9-62.5zM302.8%20331c-18.2%2018.2-76.1%2017.9-93.6%200-2.2-2.2-6.1-2.2-8.3%200-2.5%202.5-2.5%206.4%200%208.6%2022.8%2022.8%2087.3%2022.8%20110.2%200%202.5-2.2%202.5-6.1%200-8.6-2.2-2.2-6.1-2.2-8.3%200zm7.7-75c-13.6%200-24.6%2011.1-24.6%2024.9%200%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.1%2024.9-24.6%200-13.8-11-24.9-24.9-24.9z'/%3e%3c/svg%3e){kind=small}