5장. 개발자 프리뷰 기능

이 기능은 개발자 프리뷰로 사용할 수 있습니다.

OpenShift AI에는 이제 대규모 언어 모델(LLM)을 제공하는 것과 관련된 리소스 사용 및 거버넌스 문제를 해결하기 위한 MaaS(Model-as-a-Service)가 포함됩니다.

Maas는 관리형 API 엔드포인트를 통해 모델을 노출하여 모델 액세스 및 리소스 사용량을 중앙 집중식으로 제어하여 관리자가 팀 전체에 사용 정책을 적용할 수 있습니다.

이 개발자 프리뷰에는 다음과 같은 기능이 도입되었습니다.

이 기능은 개발자 프리뷰로 사용할 수 있습니다.

이제 GeneveAI Studio의 AI 사용 가능 자산 페이지에서 직접 MaaS(Model-as-a-Service) 모델에 액세스하고 사용할 수 있습니다.

관리자는 모델 배포 페이지에서 토글을 활성화하여 MaaS를 구성할 수 있습니다. 모델이 서비스로 표시되면 클러스터의 모든 프로젝트에서 글로벌 상태가 됩니다.

이 기능은 개발자 프리뷰로 사용할 수 있습니다.

이제 관리자는 배포 중에 모델에 메타데이터를 추가하여 AI 사용 가능한 자산 페이지에 자동으로 나열될 수 있습니다.

다음 표에서는 다른 팀에서 모델을 검색하고 사용할 수 있도록 하는 프로세스를 간소화하는 새로운 메타데이터 필드를 설명합니다.

이 기능은 개발자 프리뷰로 사용할 수 있습니다.

L#178a Stack 원격 공급자 및 SDK는 이제 MCP(Model Control Protocol) HTTP 스트리밍 프로토콜과 호환됩니다.

이러한 향상된 기능을 통해 개발자는 완전히 스테이트리스된 MCP 서버를 빌드하고 표준 Llana Stack 인프라( 서버리스 환경 포함)에 대한 배포를 단순화하고 확장성을 개선할 수 있습니다. 또한 연결 재개와 같은 향후 개선 사항을 준비하고 SSE(Server-Sent Events)에서 원활한 전환을 제공합니다.

이 기능은 개발자 프리뷰로 사용할 수 있습니다.

모든 추론 시간 확장(ITS) 런타임 종속성은 이제 Red Hat에서 유지 관리하는 Python 인덱스에 패키지화되어 Red Hat AI 및 OpenShift AI 고객이 pip 를 사용하여 해당_hub 및 해당 종속 항목을 직접 설치할 수 있습니다.

이러한 향상된 기능을 통해 사용자는 다음과 같이 모델 재교육을 필요로 하지 않고 추론 시 모델 정확도를 개선하는 데 중점을 둔 ITS 알고리즘으로 사용자 정의 추론 이미지를 빌드할 수 있습니다.

이제 정적 하드웨어 프로필 지원을 통해 사용자가 VRAM 요구 사항 및 참조 벤치마크를 기반으로 교육 방법, 모델 및 하이퍼 매개 변수를 선택할 수 있습니다. 이 접근 방식은 동적 하드웨어 검색 없이 예측 가능하고 안정적인 교육 워크플로를 보장합니다.

다음 구성 요소가 포함됩니다.

사용자가 실행 전에 읽지 않은 툴 호출을 승인할 수 있도록 HIL(Human-in-the-Loop) 기능이 L declarationa Stack 에이전트에 추가되었습니다.

이 향상된 기능에는 다음과 같은 기능이 포함됩니다.