3.14. 단일 모델 제공 플랫폼에 배포된 모델에 대한 추론 요청
단일 모델 제공 플랫폼을 사용하여 모델을 배포할 때 API 요청을 사용하여 액세스할 수 있는 서비스로 모델을 사용할 수 있습니다. 이를 통해 데이터 입력을 기반으로 예측을 반환할 수 있습니다. API 요청을 사용하여 배포된 모델과 상호 작용하려면 모델의 유추 끝점을 알아야 합니다.
또한 토큰 승인을 활성화하여 유추 끝점을 보호하는 경우 유추 요청에 이를 지정할 수 있도록 권한 부여 토큰에 액세스하는 방법을 알아야 합니다.
3.14.1. 배포된 모델의 권한 부여 토큰 액세스 링크 복사링크가 클립보드에 복사되었습니다!
토큰 권한 부여를 활성화하여 모델 유추 엔드포인트를 보호하는 경우 유추 요청에 지정할 수 있도록 권한 부여 토큰에 액세스하는 방법을 알아야 합니다.
사전 요구 사항
- Red Hat OpenShift AI에 로그인했습니다.
-
OpenShift AI 그룹을 사용하는 경우 OpenShift의 사용자 그룹 또는 관리자 그룹(예:
rhoai-users
또는rhoai-admins
)의 일부입니다. - 단일 모델 제공 플랫폼을 사용하여 모델을 배포했습니다.
프로세스
OpenShift AI 대시보드에서 Data Science Projects 를 클릭합니다.
Data Science Projects 페이지가 열립니다.
배포된 모델이 포함된 프로젝트의 이름을 클릭합니다.
프로젝트 세부 정보 페이지가 열립니다.
- 모델 탭을 클릭합니다.
모델 및 모델 서버 목록에서 모델의 섹션을 확장합니다.
권한 부여 토큰은 토큰 권한 부여 섹션의 토큰 시크릿 필드에 표시됩니다.
-
선택 사항: 유추 요청에 사용할 권한 부여 토큰을 복사하려면 토큰 값 옆에 있는 복사 버튼(
)을 클릭합니다.
3.14.2. 배포된 모델의 유추 끝점에 액세스 링크 복사링크가 클립보드에 복사되었습니다!
배포된 모델에 대한 유추 요청을 만들려면 사용 가능한 유추 엔드포인트에 액세스하는 방법을 알아야 합니다.
지원되는 런타임 및 예제 명령과 함께 사용할 경로 목록은 유추 끝점을 참조하십시오.
사전 요구 사항
- Red Hat OpenShift AI에 로그인했습니다.
-
OpenShift AI 그룹을 사용하는 경우 OpenShift의 사용자 그룹 또는 관리자 그룹(예:
rhoai-users
또는rhoai-admins
)의 일부입니다. - 단일 모델 제공 플랫폼을 사용하여 모델을 배포했습니다.
- 배포된 모델에 대한 토큰 권한 부여를 활성화한 경우 연결된 토큰 값이 있습니다.
프로세스
OpenShift AI 대시보드에서 Model Serving 을 클릭합니다.
모델의 유추 끝점은 유추 끝점 필드에 표시됩니다.
- 모델에서 수행하려는 동작에 따라(및 모델이 해당 작업을 지원하는 경우) 유추 끝점을 복사한 다음 URL 끝에 경로를 추가합니다.
- 배포된 모델에 API 요청을 만들려면 끝점을 사용합니다.