2.13. シングルモデルサービングプラットフォームにデプロイされたモデルに対する推論リクエストの実行


シングルモデルサービングプラットフォームを使用してモデルをデプロイすると、そのモデルは、API リクエストを使用してアクセスできるサービスとして利用できます。これにより、データ入力に基づく予測を返すことができます。API リクエストを使用してデプロイされたモデルと対話するには、モデルの推論エンドポイントを知っておく必要があります。

さらに、トークン認証を有効にすることで推論エンドポイントを保護した場合は、推論リクエストで認証トークンを指定できるように、認証トークンへのアクセス方法を理解する必要があります。

2.13.1. デプロイされたモデルの認証トークンへのアクセス

トークン認証を有効にすることでモデル推論エンドポイントを保護した場合は、推論リクエストで認証トークンを指定できるように、認証トークンへのアクセス方法を理解する必要があります。

前提条件

  • Red Hat OpenShift AI にログインしている。
  • OpenShift AI グループを使用している場合は、OpenShift のユーザーグループまたは管理者グループ (rhoai-usersrhoai-admins など) に属している。
  • シングルモデルサービングプラットフォームを使用してモデルをデプロイした。

手順

  1. OpenShift AI ダッシュボードで、Data science projects をクリックします。

    Data science projects のページが開きます。

  2. デプロイされたモデルが含まれるプロジェクトの名前をクリックします。

    プロジェクトの詳細ページが開きます。

  3. Models タブをクリックします。
  4. Models and model servers リストで、モデルのセクションを展開します。

    認証トークンは、Token secret フィールドの Token authentication セクションに表示されます。

  5. オプション: 推論リクエストで使用する認証トークンをコピーするには、トークン値の横に表示される Copy ボタン ( osd copy ) をクリックします。

2.13.2. デプロイされたモデルの推論エンドポイントにアクセスする

デプロイされたモデルに対して推論リクエストを行うには、利用可能な推論エンドポイントへのアクセス方法を知っておく必要があります。

サポートされているランタイムで使用するパスとサンプルコマンドのリストは、推論エンドポイント を参照してください。

前提条件

  • Red Hat OpenShift AI にログインしている。
  • OpenShift AI グループを使用している場合は、OpenShift のユーザーグループまたは管理者グループ (rhoai-usersrhoai-admins など) に属している。
  • シングルモデルサービングプラットフォームを使用してモデルをデプロイした。
  • デプロイされたモデルに対してトークン認証を有効にしている場合は、関連付けられたトークン値があります。

手順

  1. OpenShift AI ダッシュボードで、Models Model deployments をクリックします。

    モデルの推論エンドポイントは、Inference endpoint フィールドに表示されます。

  2. モデルで実行するアクション (およびモデルがそのアクションをサポートしているかどうか) に応じて、表示されている推論エンドポイントをコピーし、URL の末尾にパスを追加します。
  3. エンドポイントを使用して、デプロイされたモデルに API リクエストを送信します。
トップに戻る
Red Hat logoGithubredditYoutubeTwitter

詳細情報

試用、購入および販売

コミュニティー

Red Hat ドキュメントについて

Red Hat をお使いのお客様が、信頼できるコンテンツが含まれている製品やサービスを活用することで、イノベーションを行い、目標を達成できるようにします。 最新の更新を見る.

多様性を受け入れるオープンソースの強化

Red Hat では、コード、ドキュメント、Web プロパティーにおける配慮に欠ける用語の置き換えに取り組んでいます。このような変更は、段階的に実施される予定です。詳細情報: Red Hat ブログ.

会社概要

Red Hat は、企業がコアとなるデータセンターからネットワークエッジに至るまで、各種プラットフォームや環境全体で作業を簡素化できるように、強化されたソリューションを提供しています。

Theme

© 2025 Red Hat