1장. model-serving 런타임 관리

프로세스

1. OpenShift AI 대시보드에서 설정 Serving 런타임 을 클릭합니다.

   Serving 런타임 페이지가 열리고 이미 설치 및 활성화된 모델 제공 런타임이 표시됩니다.

2. 사용자 지정 런타임을 추가하려면 다음 옵션 중 하나를 선택합니다.

   • 기존 런타임(예: KServe의 경우 vLLM NVIDIA GPU ServingRuntime)으로 시작하려면 기존 런타임 옆에 있는 작업 메뉴(예: vLLM NVIDIA GPU ServingRuntime)를 클릭한 다음 중복 을 클릭합니다.
   • 새 사용자 지정 런타임을 추가하려면 제공 런타임 추가 를 클릭합니다.
3. Select the model serving platforms this runtime supports list, select Single-model serving platform.
4. Select the API protocol this runtime supports list에서 지원하는 REST 또는 gRPC 를 선택합니다.

5. 선택 사항: 새 런타임을 시작한 경우(기존 런타임을 복제하지 않고) 다음 옵션 중 하나를 선택하여 코드를 추가합니다.

   • YAML 파일 업로드

     1. 파일 업로드 를 클릭합니다.

     2. 파일 브라우저에서 컴퓨터에서 YAML 파일을 선택합니다.

        포함된 YAML 편집기가 열리고 업로드한 파일의 내용이 표시됩니다.

   • 편집기에서 직접 YAML 코드를 입력합니다.

     1. 처음부터 시작을 클릭합니다.
     2. 포함된 편집기에서 YAML 코드를 직접 입력하거나 붙여넣습니다.
   참고

   대부분의 경우 사용자 지정 런타임을 생성하려면 ServingRuntime 사양의 env 섹션에 새 또는 사용자 지정 매개변수를 추가해야 합니다.

6. 추가를 클릭합니다.

   Serving 런타임 페이지가 열리고 설치된 업데이트된 런타임 목록이 표시됩니다. 추가한 사용자 지정 런타임이 자동으로 활성화되어 있는지 확인합니다. 런타임을 생성할 때 지정한 API 프로토콜이 표시됩니다.

7. 선택 사항: 사용자 지정 런타임을 편집하려면 작업 메뉴( Cryostat)를 클릭하고 편집을 선택합니다.