3.2. 기능 개선

이제 OpenShift AI의 L declarationa Stack의 원격 벡터 데이터베이스에서 하이브리드 검색을 활성화할 수 있습니다.

이러한 향상된 기능을 통해 기업은 기존 관리 벡터 데이터베이스 인프라를 사용하는 동시에 다양한 데이터베이스 유형에서 높은 검색 성능과 유연성을 유지할 수 있습니다.

이제 Ca#159t -TGIS gRPC 어댑터 와 KServe에 vLLM Cryostatre s390x ServingRuntime을 사용하여 IBM Z(s390x 아키텍처)에서 IBM Z(s390x 아키텍처)로 모델을 제공할 수 있습니다.

이러한 통합을 통해 OpenShift AI 내의 IBM Z 시스템에서 상속 AI 워크로드를 제공하는 고성능 모델 및 추론을 수행할 수 있습니다.

OpenShift AI는 이제 "Data Science Pipelines" 대신 "AI Pipelines"라는 용어를 사용하여 플랫폼에서 지원하는 광범위한 AI 및 기술 AI 사용 사례를 보다 효과적으로 반영합니다.

기본 DataScienceCluster (default-dsc)에서 이 용어 업데이트와 일치하도록 데이터 수준pipelines 구성 요소의 이름이 aipipelines 로 변경되었습니다.

이름 변경 전용입니다. AI 파이프라인 기능은 동일하게 유지됩니다.

OpenShift AI 모델 카탈로그의 모델 세부 정보 페이지에는 성능 벤치마크, 하드웨어 호환성 및 기타 주요 지표와 같은 포괄적인 모델 검증 데이터가 포함됩니다.

이번 개선된 기능을 통해 Jounce UI 모델 세부 정보 레이아웃과 일관된 통합 및 자세한 보기를 제공하여 사용자가 단일 인터페이스에서 모델을 보다 효과적으로 평가할 수 있습니다.

이제 모델 카탈로그에 벤치마크 및 하드웨어 호환성 지표와 같은 Red Hat 검증 타사 모델에 대한 자세한 성능 및 검증 데이터가 포함됩니다.

대기 시간 또는 하드웨어 프로필 필터링과 같은 검색 및 필터링 기능을 강화하여 사용자가 특정 사용 사례 및 사용 가능한 리소스에 최적화된 모델을 신속하게 식별할 수 있어 Red Hat AI Hub 내에서 통합된 검색 환경을 제공할 수 있습니다.

llm-d를 사용한 분산 추론은 다중 모델 제공, 지능형 추론 스케줄링, 분기 AI 모델에 대한 GPU 사용률 개선을 위해 disaggregated 서비스를 지원합니다.

OpenShift AI에는 이제 llm-d Serving Runtime에서 대용량 언어 모델(LLM)을 구성하고 배포하기 위한 UI(사용자 인터페이스)가 포함됩니다.

이 간소화된 인터페이스는 필수 구성 옵션을 적절한 기본값과 함께 제공하는 동시에 llm-d 런타임을 명시적으로 선택할 수 있으므로 일반적인 배포 시나리오를 단순화합니다.

새로운 UI는 설정의 복잡성을 줄이고 사용자가 분산 추론 워크로드를 더 효율적으로 배포할 수 있도록 지원합니다.

OpenShift AI 3.0은 사용성 및 워크플로우 효율성을 개선하는 재설계되고 간소화된 탐색 시스템을 도입합니다.

새로운 레이아웃을 통해 사용자는 기능 간에 원활하게 이동할 수 있으므로 주요 기능에 대한 액세스를 단순화하고 더 원활한 엔드 투 엔드 환경을 지원할 수 있습니다.

OpenShift AI 3.0은 oauth-proxy 를 플랫폼 전체 인증 전환의 일부로 AI Pipelines용 kube-rbac-proxy 로 대체합니다.

이번 업데이트에서는 특히 AWS의 Red Hat OpenShift Service와 같은 내부 OAuth 서버가 없는 환경의 경우 보안 및 호환성이 향상됩니다.

kube-rbac-proxy 로 마이그레이션하는 경우 SAR(SubjectAccessReview) 요구 사항 및 RBAC 권한이 적절하게 변경됩니다. 기본 제공 ds-pipeline-user-access-<dspa-name > 역할을 사용하는 사용자는 역할이 자동으로 업데이트되지만 다른 역할은 다음 동사를 사용하여 데이터 rootpipelinesapplications/api 하위 리소스에 대한 액세스 권한이 포함되도록 해야 합니다. create,update,patch,delete,get,list, watch.

OpenShift AI 3.0에서 플랫폼 관리자는 관찰 구성 요소를llm-d 배포와 함께 분산 유추에 연결하고 자체 호스팅 Grafana 인스턴스와 통합하여 추론 워크로드를 모니터링할 수 있습니다.

이 기능을 통해 팀은 성능 분석 및 사용자 정의 대시보드 생성을 위해 llm-d를 사용하여 분산 추론에서 Prometheus 지표를 수집하고 시각화할 수 있습니다.