5.2. デプロイされたモデルの推論エンドポイントにアクセスする
デプロイされたモデルに対して推論リクエストを行うには、利用可能な推論エンドポイントへのアクセス方法を知っておく必要があります。
サポートされているランタイムで使用するパスとサンプルコマンドのリストは、推論エンドポイント を参照してください。
前提条件
- Red Hat OpenShift AI にログインしている。
- シングルモデルサービングプラットフォームを使用してモデルをデプロイした。
- デプロイされたモデルに対してトークン認証を有効にしている場合は、関連付けられたトークン値があります。
手順
OpenShift AI ダッシュボードで、Models
Model deployments をクリックします。 モデルの推論エンドポイントは、Inference endpoint フィールドに表示されます。
- モデルで実行するアクション (およびモデルがそのアクションをサポートしているかどうか) に応じて、表示されている推論エンドポイントをコピーし、URL の末尾にパスを追加します。
- エンドポイントを使用して、デプロイされたモデルに API リクエストを送信します。