2장. 새로운 기능 및 개선 사항
이 섹션에서는 Red Hat OpenShift AI의 새로운 기능 및 개선 사항에 대해 설명합니다.
2.1. 새로운 기능
- 사용자 지정할 수 있는 런타임 매개변수
- 이제 모델을 제공할 때 런타임에 매개변수 값과 환경 변수를 전달할 수 있습니다. 런타임 매개변수의 사용자 지정은 vLLM 관련 사용 사례에서 특히 중요합니다.
- 정량화된 모델 배포 지원
-
KServe 런타임용 vLLM ServingRuntime을 사용하여 Marlin 커널에 대해 수량화된 모델을 배포할 수 있습니다. 모델이 Marlin에 대해 정량화되면 vLLM은 기본 하드웨어를 기반으로 Marlin 커널을 자동으로 사용합니다. 다른 정량화된 모델의 경우
--quantization=marlincustom 매개변수를 사용할 수 있습니다. 지원되는 하드웨어에 대한 자세한 내용은 vLLM 웹 사이트의 지원되는 하드웨어 버전 커널 을 참조하십시오. - 코드 서버 워크벤치 이미지
이전에 기술 프리뷰 기능으로 사용 가능한 Red Hat OpenShift AI에 포함된 코드 서버 워크벤치 이미지를 일반적으로 사용할 수 있습니다. 자세한 내용은 코드 서버에서 작업을 참조하십시오.
code-server 워크벤치 이미지를 사용하면 다양한 확장 기능을 사용하여 새 언어, 테마, 디버거를 추가하고 추가 서비스에 연결하여 워크벤치 환경을 사용자 지정할 수 있습니다. 또한 구문 강조, 자동 입력 및 브래킷 일치로 데이터 과학 작업의 효율성을 향상시킬 수 있습니다.
참고ELYRA 기반 파이프라인은 코드 서버 워크벤치 이미지에서 사용할 수 없습니다.
