4장. 개발자 프리뷰 기능

이번 릴리스에서는 OpenShift AI의 L#178a Stack Developer Preview 기능을 통해 차세대 상속 AI 애플리케이션을 빌드하기 위한 RG(Retrieval-Augmented Generation) 및 에이전트 워크플로를 사용할 수 있습니다. 원격 유추, 내장 포함 및 벡터 데이터베이스 작업을 지원합니다. 또한 안전성 및 Trusty AI의 LM-Eval 공급자와 같은 공급업체와의 평가를 지원합니다.

이 프리뷰에는 L declarationa Stack Operator를 활성화하고, RAG 툴과 상호 작용하며, 문서 검색을 개선하기 위해 PDF 수집 및 키워드 검색 기능을 자동화하는 데 필요한 툴, 구성 요소 및 지침이 포함되어 있습니다.

이제 LM-Eval 구성 요소 및 고급 콘텐츠 조정 툴을 사용하여 TrustyAI를 개발자 프리뷰 기능으로 사용하여 평가를 실행하고 L declarationa Stack에서 Guardrails를 Developer Preview 기능으로 적용할 수 있습니다. 이 기능을 사용하려면 TrustyAI가 활성화되어 있는지 확인하고 FMS Orchestrator 및 detect가 설정되고 필요한 경우 KServe RawDeployment 모드를 사용하여 완전히 호환됩니다. 필요한 수동 설정이 없습니다.

그런 다음 Red Hat OpenShift AI Operator의 DataScienceCluster 사용자 정의 리소스에서 spec.llamastackoperator.managementState 필드를 Managed 로 설정합니다.

자세한 내용은 GitHub의 다음 리소스를 참조하십시오.

Cryostat Compressor 기능은 이제 Red Hat OpenShift AI에서 개발자 프리뷰 기능으로 사용할 수 있습니다. llm-compressor 라이브러리와 해당 데이터 사이언스 파이프라인 런타임 이미지가 포함된 새로운 워크벤치 이미지를 사용하면 vLLM을 효율적으로 배포하기 위해 대용량 언어 모델(LLM)을 더 쉽게 압축하고 최적화할 수 있습니다. 자세한 내용은 GitHub의 llm-compressor 를 참조하십시오.

Cryostat Compressor 기능은 다음 두 가지 방법으로 사용할 수 있습니다.