3.20. NVIDIA NIM 모델 제공 플랫폼 정보
NVIDIA NIM 추론 서비스를 사용하여 NVIDIA NIM 모델 제공 플랫폼에서 모델을 배포할 수 있습니다.
NVIDIA AI Enterprise의 일부인 NVIDIA NIM은 클라우드, 데이터 센터 및 워크스테이션 전반에 걸쳐 고성능 AI 모델 추론을 안전하고 안정적으로 배포하도록 설계된 일련의 마이크로서비스입니다.
3.20.1. NVIDIA NIM 모델 제공 플랫폼 활성화 링크 복사링크가 클립보드에 복사되었습니다!
관리자는 Red Hat OpenShift AI 대시보드를 사용하여 NVIDIA NIM 모델 서비스 플랫폼을 활성화할 수 있습니다.
이전에 OpenShift AI 2.14 또는 2.15에서 NVIDIA NIM 모델 서비스를 활성화한 다음 최신 버전으로 업그레이드한 경우 NVIDIA NGC API 키를 다시 입력하여 NVIDIA NIM 모델 제공 플랫폼을 다시 활성화합니다.
사전 요구 사항
- Red Hat OpenShift AI에 관리자로 로그인했습니다.
- 단일 모델 제공 플랫폼을 활성화했습니다. 사전 설치된 런타임을 활성화할 필요가 없습니다. 단일 모델 제공 플랫폼 활성화에 대한 자세한 내용은 단일 모델 제공 플랫폼 활성화를 참조하십시오.
다음 OpenShift AI 대시보드 구성이 활성화되어 있습니다.
disableNIMModelServing: false
disableNIMModelServing: false
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 자세한 내용은 대시보드 구성 옵션을 참조하십시오.
- OpenShift AI에서 GPU 지원을 활성화했습니다. 자세한 내용은 NVIDIA GPU 활성화를 참조하십시오.
- NVIDIA Cloud Account(NCA)를 보유하고 있으며 NVIDIA GPU Cloud(NGC) 포털에 액세스할 수 있습니다. 자세한 내용은 NVIDIA GPU Cloud 사용자 가이드를 참조하십시오.
- NCA 계정이 NVIDIA AI Enterprise Viewer 역할과 연결되어 있습니다.
- NGC 포털에서 NGC API 키를 생성했습니다. 자세한 내용은 NGC API 키를 참조하십시오.
프로세스
- OpenShift AI에 로그인합니다.
-
OpenShift AI 대시보드의 왼쪽 메뉴에서 애플리케이션
탐색을 클릭합니다. - 탐색 페이지에서 NVIDIA NIM 타일을 찾습니다.
- 애플리케이션 타일에서 사용을 클릭합니다.
- NGC API 키를 입력한 다음 Submit 을 클릭합니다.
검증
- 활성화한 NVIDIA NIM 애플리케이션이 사용됨 페이지에 표시됩니다.
3.20.2. NVIDIA NIM 모델 제공 플랫폼에 모델 배포 링크 복사링크가 클립보드에 복사되었습니다!
NVIDIA NIM 모델 제공 플랫폼을 활성화하면 플랫폼에 NVIDIA에 최적화된 모델을 배포할 수 있습니다.
사전 요구 사항
- Red Hat OpenShift AI에 로그인했습니다.
-
OpenShift AI 그룹을 사용하는 경우 OpenShift의 사용자 그룹 또는 관리자 그룹(예:
rhoai-users
또는rhoai-admins
)의 일부입니다. - NVIDIA NIM 모델 제공 플랫폼을 활성화했습니다.
- 데이터 과학 프로젝트를 생성했습니다.
- OpenShift AI에서 GPU(그래픽 처리 단위)에 대한 지원이 활성화되어 있습니다. 여기에는 Node Feature Discovery Operator 및 NVIDIA GPU Operator 설치가 포함됩니다. 자세한 내용은 Node Feature Discovery Operator 설치 및 NVIDIA GPU 활성화를 참조하십시오.
프로세스
왼쪽 메뉴에서 Data Science Projects 를 클릭합니다.
Data Science Projects 페이지가 열립니다.
모델을 배포할 프로젝트의 이름을 클릭합니다.
프로젝트 세부 정보 페이지가 열립니다.
- 모델 탭을 클릭합니다.
모델 섹션에서 다음 작업 중 하나를 수행합니다.
- NVIDIA NIM 모델 서비스 플랫폼 타일에서 타일 에서 NVIDIA NIM 선택을 클릭한 다음 모델 배포를 클릭합니다.
- 이전에 NVIDIA NIM 모델 제공 유형을 선택한 경우 모델 페이지에는 배포 모델 버튼과 함께 오른쪽 상단에 NVIDIA 모델 서비스가 활성화됩니다. 계속하려면 배포 모델을 클릭합니다.
모델 배포 대화 상자가 열립니다.
다음과 같이 모델 배포를 위한 속성을 구성합니다.
- 모델 배포 이름 필드에 배포에 대한 고유한 이름을 입력합니다.
- NVIDIA NIM 목록에서 배포하려는 NVIDIA NIM 모델을 선택합니다. 자세한 내용은 지원 모델을 참조하십시오.
- NVIDIA NIM 스토리지 크기 필드에서 NVIDIA NIM 모델을 저장하도록 생성될 클러스터 스토리지 인스턴스의 크기를 지정합니다.
- 배포할 모델 서버 복제본 수에서 값을 지정합니다.In the Number of model server replicas to deploy field, specify a value.
- 모델 서버 크기 목록에서 값을 선택합니다.From the Model server size list, select a value.
액셀러레이터 목록에서 가속기 를 선택합니다.
액셀러레이터 필드가 표시됩니다.
- 수 의 가속기 필드에서 사용할 가속기의 수를 지정합니다. 기본값은 1입니다.
- Deploy 를 클릭합니다.
검증
- 배포된 모델이 프로젝트의 모델 탭과 상태 열에 확인 표시를 사용하여 대시보드의 모델 Serving 페이지에 표시되는지 확인합니다.