2.19. NVIDIA NIM 모델 제공 플랫폼 정보

프로세스

1. OpenShift AI 대시보드의 왼쪽 메뉴에서 애플리케이션 탐색을 클릭합니다.
2. 탐색 페이지에서 NVIDIA NIM 타일을 찾습니다.
3. 애플리케이션 타일에서 사용을 클릭합니다.
4. NGC API 키를 입력한 다음 Submit 을 클릭합니다.

프로세스

1. 왼쪽 메뉴에서 데이터 과학 프로젝트를 클릭합니다.

   데이터 사이언스 프로젝트 페이지가 열립니다.

2. 모델을 배포할 프로젝트의 이름을 클릭합니다.

   프로젝트 세부 정보 페이지가 열립니다.

3. 모델 탭을 클릭합니다.

4. 모델 섹션에서 다음 작업 중 하나를 수행합니다.

   • NVIDIA NIM 모델 서비스 플랫폼 타일에서 타일 에서 NVIDIA NIM 선택을 클릭한 다음 모델 배포를 클릭합니다.
   • 이전에 NVIDIA NIM 모델 제공 유형을 선택한 경우 모델 페이지에는 배포 모델 버튼과 함께 오른쪽 상단에 NVIDIA 모델 서비스가 활성화됩니다. 계속하려면 배포 모델을 클릭합니다.

   모델 배포 대화 상자가 열립니다.

5. 다음과 같이 모델 배포를 위한 속성을 구성합니다.

   1. 모델 배포 이름 필드에 배포에 대한 고유한 이름을 입력합니다.
   2. NVIDIA NIM 목록에서 배포하려는 NVIDIA NIM 모델을 선택합니다. 자세한 내용은 지원 모델을 참조하십시오.
   3. NVIDIA NIM 스토리지 크기 필드에서 NVIDIA NIM 모델을 저장하도록 생성될 클러스터 스토리지 인스턴스의 크기를 지정합니다.
   4. 배포할 모델 서버 복제본 수에서 값을 지정합니다.In the Number of model server replicas to deploy field, specify a value.
   5. 모델 서버 크기 목록에서 값을 선택합니다.From the Model server size list, select a value.

6. 하드웨어 프로필 목록에서 하드웨어 프로필을 선택합니다.

   중요

   기본적으로 하드웨어 프로필은 대시보드 탐색 메뉴 및 사용자 인터페이스에 숨겨져 있지만 액셀러레이터 프로필은 계속 표시됩니다. 또한 더 이상 사용되지 않는 가속기 프로필 기능과 관련된 사용자 인터페이스 구성 요소가 계속 표시됩니다. 하드웨어 프로필을 활성화하면 액셀러레이터 프로필 목록 대신 하드웨어 프로필 목록이 표시됩니다. 대시보드 탐색 메뉴에서 설정 하드웨어 프로필 옵션을 표시하려면 OpenShift의 OdhDashboardConfig CR(사용자 정의 리소스)에서 disableHardwareProfiles 값을 false 로 설정합니다. 대시보드 구성 옵션 설정에 대한 자세한 내용은 대시보드 사용자 지정을 참조하십시오.

7. 선택 사항: 리소스 요청 사용자 지정을 클릭하고 다음 값을 제한하고 업데이트합니다.

   1. CPU requests 필드에서 모델 서버와 함께 사용할 CPU 수를 지정합니다. 이 필드 옆에 있는 목록을 사용하여 코어 또는 밀리코어에 값을 지정합니다.
   2. CPU 제한 필드에서 모델 서버와 함께 사용할 최대 CPU 수를 지정합니다. 이 필드 옆에 있는 목록을 사용하여 코어 또는 밀리코어에 값을 지정합니다.
   3. 메모리 요청 필드에서 모델 서버의 요청된 메모리를 기비바이트(Gi)로 지정합니다.
   4. 메모리 제한 필드에서 모델 서버의 최대 메모리 제한을 기가바이트(Gi)로 지정합니다.
8. 선택 사항: 모델 경로 섹션에서 외부 경로 확인란을 통해 사용 가능한 배포된 모델 만들기 확인란을 선택하여 배포된 모델을 외부 클라이언트에서 사용할 수 있도록 합니다.

9. 배포된 모델에 대한 유추 요청에 대한 토큰 인증이 필요한 경우 다음 작업을 수행합니다.

   1. 토큰 인증 필요 를 선택합니다.
   2. 서비스 계정 이름 필드에 토큰이 생성될 서비스 계정 이름을 입력합니다.
   3. 추가 서비스 계정을 추가하려면 서비스 계정 추가를 클릭하고 다른 서비스 계정 이름을 입력합니다.
10. Deploy 를 클릭합니다.

프로세스

1. 터미널 창에서 다음 예와 같이 클러스터 관리자로 OpenShift CLI에 로그인합니다.

   oc login <openshift_cluster_url> -u <admin_username> -p <password>

   Copy to Clipboard Toggle word wrap

2. NVIDIA NIM 모델 제공 플랫폼에서 선택할 수 있도록 할 모델 ID가 포함된 YAML 파일에 ConfigMap 오브젝트를 정의합니다.

   apiVersion: v1
   kind: ConfigMap
   metadata:
    name: nvidia-nim-enabled-models
   data:
    models: |-
       [
       "mistral-nemo-12b-instruct",
       "llama3-70b-instruct",
       "phind-codellama-34b-v2-instruct",
       "deepseek-r1",
       "qwen-2.5-72b-instruct"
       ]

   Copy to Clipboard Toggle word wrap

3. 계정 CR의 이름과 네임스페이스를 확인합니다.

   oc get account -A

   Copy to Clipboard Toggle word wrap

   다음 예와 유사한 출력이 표시됩니다.

   NAMESPACE         NAME       TEMPLATE  CONFIGMAP  SECRET
   redhat-ods-applications  odh-nim-account

   Copy to Clipboard Toggle word wrap

4. 계정 CR과 동일한 네임스페이스에 ConfigMap 오브젝트를 배포합니다.

   oc apply -f <configmap-name> -n <namespace>

   Copy to Clipboard Toggle word wrap

   & lt;configmap-name >을 YAML 파일의 이름으로 바꾸고 < namespace >를 계정 CR의 네임스페이스로 바꿉니다.

5. 이전에 생성한 ConfigMap 오브젝트를 계정 CR의 spec.modelListConfig 섹션에 추가합니다.

   oc patch account <account-name> \
     --type='merge' \
     	-p '{"spec": {"modelListConfig": {"name": "<configmap-name>"}}}'

   Copy to Clipboard Toggle word wrap

   & lt;account-name >을 계정 CR의 이름으로 바꾸고 < configmap-name >을 ConfigMap 오브젝트로 바꿉니다.

6. ConfigMap 오브젝트가 계정 CR에 추가되었는지 확인합니다.

   oc get account <account-name> -o yaml

   Copy to Clipboard Toggle word wrap

   다음 출력과 유사하게 Account CR의 spec.modelListConfig 섹션에 ConfigMap 오브젝트가 표시됩니다.

   spec:
    enabledModelsConfig:
    modelListConfig:
     name: <configmap-name>

   Copy to Clipboard Toggle word wrap

프로세스

1. OpenShift AI 대시보드 탐색 메뉴에서 Data Science projects 를 클릭합니다.

   데이터 사이언스 프로젝트 페이지가 열립니다.

2. 모니터링할 NIM 모델이 포함된 프로젝트의 이름을 클릭합니다.
3. 프로젝트 세부 정보 페이지에서 모델 탭을 클릭합니다.
4. 관찰할 NIM 모델을 클릭합니다.

5. NIM 지표 탭에서 다음 옵션을 설정합니다.

   • 시간 범위 - 메트릭을 추적하는 기간을 지정합니다. 이 값 중 하나를 선택할 수 있습니다. 1 시간, 24 시간, 7 일 및 30 일.
   • 새로 고침 간격 - 메트릭 페이지의 그래프가 새로 고쳐지는 빈도를 지정합니다(최신 데이터를 표시). 이 값 중 하나를 선택할 수 있습니다: 15 초, 30 초, 1 분, 5 분, 15 분, 30 분, 1 시간, 2 시간, 1 일.
6. 아래로 스크롤하여 NIM 메트릭의 데이터 그래프를 봅니다.

프로세스

1. OpenShift AI 대시보드 탐색 메뉴에서 Data Science projects 를 클릭합니다.

   데이터 사이언스 프로젝트 페이지가 열립니다.

2. 모니터링할 NIM 모델이 포함된 프로젝트의 이름을 클릭합니다.
3. 프로젝트 세부 정보 페이지에서 모델 탭을 클릭합니다.
4. 관찰할 NIM 모델을 클릭합니다.

5. 끝점 성능 탭에서 다음 옵션을 설정합니다.

   • 시간 범위 - 메트릭을 추적하는 기간을 지정합니다. 이 값 중 하나를 선택할 수 있습니다. 1 시간, 24 시간, 7 일 및 30 일.
   • 새로 고침 간격 - 메트릭 페이지의 그래프가 새로 고쳐 최신 데이터를 표시하는 빈도를 지정합니다. 이 값 중 하나를 선택할 수 있습니다: 15 초, 30 초, 1 분, 5 분, 15 분, 30 분, 1 시간, 2 시간, 1 일.
6. 아래로 스크롤하여 성능 지표의 데이터 그래프를 확인합니다.