2장. 새로운 기능 및 개선 사항

이제 Guardrails Orchestrator Framework를 일반적으로 사용할 수 있습니다.

Guardrails Orchestrator는 LLM(Large Language Models)에 안전 및 정책 검사(guardrails)를 추가하는 TrustyAI 서비스입니다. TrustyAI Operator가 관리하는 이를 통해 rules(detectors)를 정의하여 Cryostat 입력/출력을 필터링할 수 있습니다.

중요한 이유는 무엇입니까?

OCI 스토리지를 모델 서비스용 클라우드 스토리지 서비스의 대안으로 사용할 수 있습니다. 먼저 모델을 포함할 OCI 컨테이너 이미지를 생성합니다. 이미지는 Quay와 같은 OCI 호환 레지스트리에 업로드됩니다. 모델을 배포할 때 플랫폼 제공 플랫폼은 컨테이너화된 모델의 리포지토리를 참조합니다.

OCI 컨테이너를 사용하면 다음과 같은 이점을 제공할 수 있습니다.

Kubeflow Training Operator를 사용하여 여러 노드와 GPU에 분산된 PyTorch 교육이 지원됩니다. 이 기능은 다음과 같은 기능을 활성화합니다.

RDMA(Remote Direct Memory Access)를 사용하여 직접 GPU 상호 연결을 제공하는 NVIDIA GPUDirect RDMA는 이제 KFTO를 사용한 분산 모델 교육에 대해 지원됩니다. 이 기능을 사용하면 호환 가능한 NVIDIA 가속 네트워킹 플랫폼에서 RDMA over Converged Ethernet (RoCE) 및 InfiniBand와의 Cryostat 통신을 가능하게 합니다.

CUDA의 Kubeflow 교육 이미지가 RDMA 사용자 공간 라이브러리를 포함하도록 업데이트되었습니다.

OpenShift AI Self-Managed는 이제 Oracle Cloud Infrastructure (OCI)의 Red Hat OpenShift Container Platform에서 지원됩니다. OpenShift AI 지원 소프트웨어 플랫폼에 대한 자세한 내용은 Red Hat OpenShift AI: 지원되는 구성 지식 베이스 문서를 참조하십시오.

OCI의 OpenShift Container Platform에 대한 자세한 내용은 OCI에 설치를 참조하십시오.