2.2. 기능 개선

OpenShift AI는 나열된 각 구성 요소에 대해 다음 vLLM 버전을 지원합니다.

이제 TrustyAI에서 LM-Eval과 함께 Cryostat-as-a-Judge 메트릭을 사용할 수 있습니다. LLM(Large Language Models)은 인간과 같은 평가자로 사용할 수 있으며, 이는 창의적인 작문에 대한 평가와 같이 쉽게 정량화할 수 없는 다른 Cryostat의 출력 품질을 평가하는 데 사용할 수 있습니다. 이를LLMaaJ(LLMaaJ)라고 합니다.

평가 예제는 LM-Eval 시나리오 를 참조하십시오.

다음 추가 교육 이미지를 테스트하고 검증합니다.

이전에는 elyra-pipelines-<notebook-name> RoleBinding 및 ds-pipeline-config Secret 리소스가 대시보드 구성 요소에서 프로비저닝되었으며 컨트롤러의 라이프사이클 관리와 통합되지 않았습니다. 이 종속성은 파이프라인 기능만 필요한 경우에도 OpenShift AI 대시보드를 배포해야 했습니다.

이번 릴리스에서는 노트북 컨트롤러에서 이러한 리소스를 자동으로 생성하여 대시보드 구성 요소와 독립적으로 워크벤치 및 파이프라인을 사용할 수 있습니다. 이러한 변경으로 설정을 단순화하고 라이프사이클 관리를 보다 일관되게 유지할 수 있습니다.

Red Hat은 Seldon MLServer 버전 1.6.1 런타임을 테스트하고 검증하여 널리 사용되는 예측 AI 모델과의 호환성을 개선했습니다. 다음 모델은 KServe(REST 및 gRPC)에 대해 테스트되었습니다.

Red Hat Authorino, Red Hat OpenShift Serverless 및 Red Hat OpenShift Service Mesh Operator는 더 이상 OpenShift AI에서 모델 레지스트리 구성 요소를 사용할 필요가 없습니다.

기존 모델 레지스트리 인스턴스는 OpenShift OAuth 프록시 인증을 사용하도록 자동으로 마이그레이션됩니다. OpenShift AI 대시보드에서 생성된 새 모델 레지스트리 인스턴스는 기본적으로 OAuth 프록시를 사용합니다. 이전 v1alpha1 API 및 Istio 구성으로 생성된 새 인스턴스는 OAuth 프록시를 사용하도록 자동으로 업데이트됩니다.

Kubernetes RBAC 리소스와 같은 이전 모델 레지스트리 인스턴스에 대한 기존 인증 구성은 예상대로 계속 작동합니다.