3.12. シングルモデルサービングプラットフォームにデプロイされたモデルに対する推論リクエストの実行
シングルモデルサービングプラットフォームを使用してモデルをデプロイすると、そのモデルは、API リクエストを使用してアクセスできるサービスとして利用できます。これにより、データ入力に基づく予測を返すことができます。API リクエストを使用してデプロイされたモデルと対話するには、モデルの推論エンドポイントを知っておく必要があります。
さらに、トークン認可を有効にすることで推論エンドポイントを保護した場合は、推論リクエストで認可トークンを指定できるように、認可トークンへのアクセス方法を理解する必要があります。
3.12.1. デプロイされたモデルの認可トークンにアクセスする
トークン認可を有効にすることで推論エンドポイントを保護した場合は、推論リクエストで認可トークンを指定できるように、認可トークンへのアクセス方法を理解する必要があります。
前提条件
- Red Hat OpenShift AI にログインしている。
-
OpenShift AI グループを使用している場合は、OpenShift のユーザーグループまたは管理者グループ (
rhoai-usersやrhoai-adminsなど) に属している。 - シングルモデルサービングプラットフォームを使用してモデルをデプロイした。
手順
OpenShift AI ダッシュボードで、Data Science Projects をクリックします。
Data Science Projects ページが開きます。
デプロイされたモデルが含まれるプロジェクトの名前をクリックします。
プロジェクトの詳細ページが開きます。
- Models タブをクリックします。
Models and model servers リストで、モデルのセクションを展開します。
認可トークンは、Token authorization セクションの Token secret フィールドに表示されます。
-
オプション: 推論リクエストで使用する認可トークンをコピーするには、トークン値の横に表示される Copy ボタン (
) をクリックします。
3.12.2. デプロイされたモデルの推論エンドポイントにアクセスする
デプロイされたモデルに対して推論リクエストを行うには、利用可能な推論エンドポイントへのアクセス方法を知っておく必要があります。
サポートされているランタイムとコマンド例で使用するパスのリストは、推論エンドポイント を参照してください。
前提条件
- Red Hat OpenShift AI にログインしている。
-
OpenShift AI グループを使用している場合は、OpenShift のユーザーグループまたは管理者グループ (
rhoai-usersやrhoai-adminsなど) に属している。 - シングルモデルサービングプラットフォームを使用してモデルをデプロイした。
- デプロイされたモデルに対してトークン認可を有効にしている場合は、関連付けられたトークン値があります。
手順
OpenShift AI ダッシュボードで、Model Serving をクリックします。
モデルの推論エンドポイントは、Inference endpoint フィールドに表示されます。
- モデルで実行するアクション (およびモデルがそのアクションをサポートしているかどうか) に応じて、表示されている推論エンドポイントをコピーし、URL の末尾にパスを追加します。
- エンドポイントを使用して、デプロイされたモデルに API リクエストを送信します。
