3.12. 단일 모델 제공 플랫폼에 배포된 모델에 대한 추론 요청
단일 모델 제공 플랫폼을 사용하여 모델을 배포할 때 API 요청을 사용하여 액세스할 수 있는 서비스로 모델을 사용할 수 있습니다. 이를 통해 데이터 입력을 기반으로 예측을 반환할 수 있습니다. API 요청을 사용하여 배포된 모델과 상호 작용하려면 모델의 유추 끝점을 알아야 합니다.
또한 토큰 승인을 활성화하여 유추 끝점을 보호하는 경우 유추 요청에 이를 지정할 수 있도록 권한 부여 토큰에 액세스하는 방법을 알아야 합니다.
3.12.1. 배포된 모델의 권한 부여 토큰 액세스
토큰 권한 부여를 활성화하여 모델 유추 엔드포인트를 보호하는 경우 유추 요청에 지정할 수 있도록 권한 부여 토큰에 액세스하는 방법을 알아야 합니다.
사전 요구 사항
- Red Hat OpenShift AI에 로그인했습니다.
-
OpenShift AI 그룹을 사용하는 경우 OpenShift의 사용자 그룹 또는 관리자 그룹(예:
rhoai-users또는rhoai-admins)의 일부입니다. - 단일 모델 제공 플랫폼을 사용하여 모델을 배포했습니다.
프로세스
OpenShift AI 대시보드에서 Data Science Projects 를 클릭합니다.
Data Science Projects 페이지가 열립니다.
배포된 모델이 포함된 프로젝트의 이름을 클릭합니다.
프로젝트 세부 정보 페이지가 열립니다.
- 모델 탭을 클릭합니다.
모델 및 모델 서버 목록에서 모델의 섹션을 확장합니다.
권한 부여 토큰은 토큰 권한 부여 섹션의 토큰 시크릿 필드에 표시됩니다.
-
선택 사항: 유추 요청에 사용할 권한 부여 토큰을 복사하려면 토큰 값 옆에 있는 복사 버튼(
)을 클릭합니다.
3.12.2. 배포된 모델의 유추 끝점에 액세스
배포된 모델에 대한 유추 요청을 만들려면 사용 가능한 유추 엔드포인트에 액세스하는 방법을 알아야 합니다.
지원되는 런타임 및 예제 명령과 함께 사용할 경로 목록은 유추 끝점을 참조하십시오.
사전 요구 사항
- Red Hat OpenShift AI에 로그인했습니다.
-
OpenShift AI 그룹을 사용하는 경우 OpenShift의 사용자 그룹 또는 관리자 그룹(예:
rhoai-users또는rhoai-admins)의 일부입니다. - 단일 모델 제공 플랫폼을 사용하여 모델을 배포했습니다.
- 배포된 모델에 대한 토큰 권한 부여를 활성화한 경우 연결된 토큰 값이 있습니다.
프로세스
OpenShift AI 대시보드에서 Model Serving 을 클릭합니다.
모델의 유추 끝점은 유추 끝점 필드에 표시됩니다.
- 모델에서 수행하려는 동작에 따라(및 모델이 해당 작업을 지원하는 경우) 유추 끝점을 복사한 다음 URL 끝에 경로를 추가합니다.
- 배포된 모델에 API 요청을 만들려면 끝점을 사용합니다.
