第5章 シングルモデルサービングプラットフォームのインストール
5.1. シングルモデルサービングプラットフォームについて リンクのコピーリンクがクリップボードにコピーされました!
OpenShift AI には、大規模言語モデル (LLM) などの大規模モデルをデプロイするために、KServe コンポーネントをベースとしたシングルモデルサービングプラットフォームが組み込まれています。シングルモデルサービングプラットフォームをインストールするには、次のコンポーネントが必要です。
- KServe: あらゆるタイプのモデルのモデルサービングをオーケストレーションする Kubernetes カスタムリソース定義 (CRD)。KServe には、指定されたモデルサーバータイプの読み込みを実装するモデルサービングランタイムが含まれます。KServe は、デプロイメントオブジェクト、ストレージアクセス、およびネットワーク設定のライフサイクルも処理します。
- Red Hat OpenShift Serverless: モデルのサーバーレスデプロイメントを可能にするクラウドネイティブ開発モデル。OpenShift Serverless は、オープンソースの Knative プロジェクトをベースにしています。
Red Hat OpenShift Service Mesh: トラフィックフローを管理し、アクセスポリシーを適用するサービスメッシュネットワーキングレイヤー。OpenShift Service Mesh は、オープンソースの Istio プロジェクトをベースにしています。
注記現在、OpenShift Service Mesh v2 のみがサポートされています。詳細は、サポートされる構成 を参照してください。
シングルモデルサービングプラットフォームは、手動または自動でインストールできます。
- 自動インストール
-
OpenShift クラスターに
ServiceMeshControlPlaneまたはKNativeServingリソースを作成していない場合は、Red Hat OpenShift AI Operator を設定して KServe をインストールし、その依存関係を設定できます。詳細は、KServe の自動インストールの設定 を参照してください。 - 手動インストール
OpenShift クラスターに
ServiceMeshControlPlaneまたはKNativeServingリソースをすでに作成している場合は、Red Hat OpenShift AI Operator を設定して KServe をインストールし、その依存関係を設定することは できません。この状況では、KServe を手動でインストールする必要があります。詳細は、KServe の手動インストール を参照してください。注記シングルモデルサービングプラットフォームの手動インストール中に、KServe を
Unmanagedモードで実行できます。 このモードは、KServe コントローラーのリソース制限の変更など、KServe コンポーネントをより詳細に制御する必要がある場合に便利です。