4장. 기술 프리뷰 기능

이제 TrustyAI의 Guardrails Orchestrator를 L#174a Stack과 기술 프리뷰 기능으로 사용할 수 있습니다.

이러한 통합을 통해 기본 검색 및 평가 워크플로를 통해 AI 안전 및 콘텐츠 조정이 지원됩니다. TrustyAI가 활성화되어 있고 FMS Orchestrator 및 detect가 구성되면 수동 설정이 필요하지 않습니다.

이 기능을 활성화하려면 OpenShift AI Operator의 DataScienceCluster 사용자 정의 리소스에서 다음 필드를 설정합니다. spec.llamastackoperator.managementState: Managed

자세한 내용은 GitHub: TrustyAI FMS Provider의 TrustyAI FMS Provider 를 참조하십시오.

새로운 AI 사용 가능 자산 페이지를 통해 AI 엔지니어 및 애플리케이션 개발자가 프로젝트 내에서 배포된 AI 리소스를 보고 사용할 수 있습니다.

이번 개선된 기능에는 선택한 프로젝트에서 사용 가능한 모델 및 MCP(Model Context Protocol) 서버를 나열하는 필터 가능한 UI가 도입되어 사용자가 액세스 가능한 엔드포인트를 식별하고 AI Play Background 또는 기타 애플리케이션에 직접 통합할 수 있는 권한이 있습니다.

GenAI(Generative AI) PlayNetworkPolicy는 기본 및 사용자 지정 모델을 실험하기 위한 OpenShift AI 대시보드 내에서 통합된 대화형 환경을 제공합니다.

사용자는 문서를 업로드하고 해당 콘텐츠와 채팅하여 프롬프트를 테스트하고 모델을 비교하며 RG(Retrieval-Augmented Generation) 워크플로를 평가할 수 있습니다. 또한genAI Play ground는 승인된 MCP(Model Context Protocol) 서버와의 통합을 지원하며, 로컬 IDE에서 지속적인 반복을 위해 프롬프트 및 에이전트 구성을 실행 가능한 코드로 내보낼 수 있습니다.

채팅 컨텍스트는 각 세션 내에 보존되어 즉각적인 엔지니어링 및 모델 실험에 적합한 환경을 제공합니다.

이제 완전히 연결이 끊긴 (air-gapped) OpenShift AI 환경에서 L#178a Stack 및 RAG/Agentic 구성 요소를 설치하고 작동할 수 있습니다.

이러한 향상된 기능을 통해 인터넷 액세스없이 L#178a Stack 기능을 안전하게 배포할 수 있으므로 조직은 엄격한 네트워크 보안 정책을 준수하는 동시에 AI 기능을 사용할 수 있습니다.

이 기능은 기술 프리뷰로 사용할 수 있습니다.

기능 저장소는 이제 OpenShift AI, 데이터 사이언 프로젝트 및 워크벤치와 통합되었습니다. 또한 이러한 통합으로 인해 거버넌스 개선을 위해 중앙에서 관리되는 역할 기반 액세스 제어(RBAC) 기능이 도입됩니다.

이러한 개선 사항은 다음 두 가지 주요 기능을 제공합니다.

이제 Feature Store 구성 요소에 웹 기반 UI(사용자 인터페이스)가 포함됩니다.

UI를 사용하여 기능, 데이터 소스, 엔터티 및 기능 서비스와 같은 등록된 기능 저장소 오브젝트 및 해당 관계를 볼 수 있습니다.

UI를 활성화하려면 FeatureStore CR(사용자 정의 리소스) 인스턴스를 편집합니다. 변경 사항을 저장하면 Feature Store Operator가 UI 컨테이너를 시작하고 액세스를 위해 OpenShift 경로를 생성합니다.

자세한 내용은 초기 사용을 위한 기능 저장소 사용자 인터페이스 설정을 참조하십시오.

이번 릴리스에서는 L#178a Stack 기술 프리뷰 기능을 통해 RAG(Retrieval-Augmented Generation) 및 에이전트 워크플로를 통해 차세대 AI 애플리케이션을 빌드할 수 있습니다. 원격 유추, 내장 포함 및 벡터 데이터베이스 작업을 지원합니다. 또한 안전성 및 Trusty AI의 LM-Eval 공급자와 같은 공급업체와의 평가를 지원합니다.

이 프리뷰에는 L declarationa Stack Operator를 활성화하고, RAG 툴과 상호 작용하며, 문서 검색을 개선하기 위해 PDF 수집 및 키워드 검색 기능을 자동화하는 데 필요한 툴, 구성 요소 및 지침이 포함되어 있습니다.

메트릭, 추적 및 기본 제공 경고를 포함한 중앙 집중식 플랫폼 관찰 기능은 기술 프리뷰 기능으로 사용할 수 있습니다. 이 솔루션에서는 클러스터 관리자가 다음 작업을 수행할 수 있는 OpenShift AI에 대해 사전 구성된 전용 관찰 기능 스택을 도입합니다.

L#178a Stack Distribution에는 이제 기술 프리뷰 기능으로 버전 0.3.0이 포함되어 있습니다.

이번 업데이트에서는 RG(search-augmented generation) 파이프라인 확장 지원, 향상된 평가 공급자 통합 및 에이전트 및 벡터 저장소 관리를 위한 업데이트된 API를 포함하여 몇 가지 향상된 기능이 도입되었습니다. 또한 분산 유추를 위한 최신 OpenAI API 확장 및 인프라 최적화와 일치하는 호환성 업데이트를 제공합니다.

이전에 지원되는 버전은 0.2.22입니다.

OpenShift AI는 KServe RawDeployment 모드에서 Kubernetes 이벤트 중심 자동 확장(KEDA)을 지원합니다. 이 기술 프리뷰 기능을 사용하면 유추 서비스에 대한 메트릭 기반 자동 스케일링을 통해 가속기 리소스를 보다 효율적으로 관리하고 운영 비용을 줄이며 추론 서비스의 성능을 개선할 수 있습니다.

KServe RawDeployment 모드에서 유추 서비스에 대한 자동 스케일링을 설정하려면 KEDA를 기반으로 하는 OpenShift CMA(Custom Metrics Autoscaler)를 설치하고 구성해야 합니다.

이 기능에 대한 자세한 내용은 메트릭 기반 자동 스케일링 구성을 참조하십시오.

이제 내장 탐지 구성 요소를 사용하여 L#178a Stack을 기술 프리뷰 기능으로 사용하여 Guardrails Orchestrator 도구를 사용하여 탐지를 실행할 수 있습니다. 이 기능을 사용하려면 TrustyAI가 활성화되어 있는지 확인하고 FMS Orchestrator 및 detect가 설정되고 필요한 경우 KServe RawDeployment 모드를 사용하여 완전히 호환됩니다. 필요한 수동 설정이 없습니다. 그런 다음 Red Hat OpenShift AI Operator의 DataScienceCluster 사용자 정의 리소스에서 spec.llamastackoperator.managementState 필드를 Managed 로 설정합니다.

자세한 내용은 GitHub의 Trusty AI FMS Provider 를 참조하십시오.

CodeFlare SDK를 통해 Cryostat 클러스터에서 직접 생성 및 관리할 수 있습니다.

이번 개선된 기능을 통해 작업이 생성, 실행 및 완료된 KubernetesFlow Training Operator(KFTO) 모델에 CodeFlare SDK 워크플로우가 조정됩니다. 이번 개선된 기능을 통해 작업 완료 후 Cryostat 클러스터가 활성 상태가 되지 않도록 하여 수동 클러스터 관리를 단순화할 수 있습니다.

OpenID Connect(OIDC) ID 공급자의 직접 인증을 이제 기술 프리뷰 기능으로 사용할 수 있습니다.

이번 개선된 기능을 통해 게이트웨이 API를 통한 OpenShift AI 서비스 인증을 중앙 집중화하여 안전하고 확장 가능하며 관리 가능한 인증 모델을 제공합니다. GatewayConfig 사용자 지정 리소스를 사용하여 외부 OIDC 공급자로 Gateway API를 구성할 수 있습니다.

SDG(Component Data Generation) 파이프라인에 사용자 정의 흐름 추정기를 사용할 수 있습니다.

지원 및 호환 가능한 SDG 입주 모델의 경우, 추정기를 사용하면 전체 워크로드를 실행하기 전에 샘플 데이터 세트에서 선택한 마스터 모델, 사용자 정의 흐름 및 지원 하드웨어를 평가할 수 있습니다.

L#174a Stack 코어는 이제 단일 노드 OpenShift(SNO)에서 효율적으로 배포 및 실행할 수 있습니다.

이번 개선된 기능을 통해 Llana Stack이 단일 노드 클러스터 환경에서 안정적으로 작동할 수 있도록 구성 요소 시작 및 리소스 사용이 최적화되었습니다.

이제 Cryostat AI Similarity Search) 라이브러리를 OpenShift AI의 인라인 벡터 저장소로 사용할 수 있습니다.

CryostatISS는 고성능 벡터 검색 및 클러스터링을 위한 오픈 소스 프레임워크로, CPU 및 GPU를 모두 지원하는 밀도 높은 수치 포함에 최적화되어 있습니다. L dispoa Stack Distribution에서 내장된 SQLite 백엔드로 활성화된 경우, CryostatISS는 컨테이너 내에 로컬로 포함된 포함 항목을 저장하여 외부 벡터 데이터베이스 서비스의 필요성을 제거합니다.

이제 OpenShift AI에서 구성 가능한 구성 요소로 기능 저장소를 설치하고 관리할 수 있습니다. 기능 저장소는 오픈 소스 Feast 프로젝트를 기반으로 ML 모델과 데이터 간의 브리지 역할을 하여 ML 라이프사이클 전반에 걸쳐 일관되고 확장 가능한 기능 관리를 지원합니다.

이 기술 프리뷰 릴리스에는 다음과 같은 기능이 도입되었습니다.

이제 FIPS 컴플라이언스가 필요한 규제 환경에 L#178a Stack 및 RAG 또는 에이전트 솔루션을 배포할 수 있습니다.

이번 개선된 기능을 통해 FIPS 인증 및 호환 가능한 배포 패턴을 제공하여 조직이 AI 워크로드에 대한 엄격한 규제 및 인증 요구 사항을 충족할 수 있도록 지원합니다.

OpenShift AI 3.0에서 검증된 sdg_hub 예제 노트북을 사용하여 노트북 기반 사용자 환경을 제공할 수 있습니다.

이러한 노트북은 여러 Red Hat 플랫폼을 지원하고 SDG 파이프라인을 통해 사용자 지정을 가능하게 합니다. 여기에는 다음 사용 사례에 대한 예제가 포함됩니다.

이제 RAGAS(Retrieval-Augmented Generation Assessment) 평가 공급자를 사용하여 OpenShift AI에서 RAG 시스템의 품질과 신뢰성을 측정할 수 있습니다.

RAGAS는 검색 품질, 응답성 및 사실 일관성에 대한 메트릭을 제공하여 문제를 식별하고 RAG 파이프라인 구성을 최적화하는 데 도움이 됩니다.

L#178a Stack 평가 API와의 통합은 다음 두 가지 배포 모드를 지원합니다.

이제 하드웨어 프로필을 기술 프리뷰로 사용할 수 있습니다. 하드웨어 프로필 기능을 사용하면 사용자가 워크벤치 또는 모델 서비스 워크로드를 위해 특정 작업자 노드를 대상으로 지정할 수 있습니다. 사용자가 특정 가속기 유형 또는 CPU 전용 노드를 대상으로 지정할 수 있습니다.

이 기능은 현재 액셀러레이터 프로파일과 컨테이너 크기 선택기 필드를 대체하여 다양한 하드웨어 구성을 대상으로 하는 광범위한 기능을 제공합니다. 액셀러레이터 프로필, 테인트 및 톨러레이션은 워크로드에 일치하는 일부 기능을 하드웨어로 제공하는 반면, 특히 일부 노드에 적절한 테인트가 없는 경우 워크로드가 특정 노드에 배치되도록 보장할 수 없습니다.

하드웨어 프로필 기능은 노드 선택기와 함께 액셀러레이터 및 CPU 전용 구성을 모두 지원하여 특정 작업자 노드의 대상 지정 기능을 향상시킵니다. 관리자는 설정 메뉴에서 하드웨어 프로필을 구성할 수 있습니다. 사용자는 UI를 사용하여 워크벤치, 모델 제공, AI 파이프라인을 사용하여 활성화된 프로필을 선택할 수 있습니다.

R Cryostat Server 워크벤치 이미지를 사용하면 R용 통합 개발 환경인 R Cryostat IDE에 액세스할 수 있습니다. R 프로그래밍 언어는 통계 컴퓨팅 및 그래픽으로 데이터 분석 및 예측을 지원하는 데 사용됩니다.

R Cryostat Server 워크벤치 이미지를 사용하려면 먼저 시크릿을 생성하고 BuildConfig 를 트리거하여 빌드한 다음 rstudio-rhel9 이미지 스트림을 편집하여 OpenShift AI UI에서 활성화해야 합니다. 자세한 내용은 R Cryostat Server 워크벤치 이미지 빌드를 참조하십시오.

CUDA - R Cryostat 서버 워크벤치 이미지를 사용하면 R Cryostat IDE 및 NVIDIA CUDA Toolkit에 액세스할 수 있습니다. R Cryostat IDE는 통계 컴퓨팅 및 그래픽을 위한 R 프로그래밍 언어를 위한 통합 개발 환경입니다. NVIDIA CUDA 툴킷을 사용하면 GPU 가속 라이브러리 및 최적화 도구를 사용하여 작업을 개선할 수 있습니다.

CUDA - R Cryostat Server 워크벤치 이미지를 사용하려면 먼저 시크릿을 생성하고 BuildConfig 를 트리거하여 빌드한 다음 rstudio-rhel9 이미지 스트림을 편집하여 OpenShift AI UI에서 활성화합니다. 자세한 내용은 R Cryostat Server 워크벤치 이미지 빌드를 참조하십시오.