第1章 モデルサービングについて
Red Hat OpenShift AI でトレーニングされたモデルを提供するということは、モデルを OpenShift クラスターにデプロイしてテストし、インテリジェントなアプリケーションに統合することを意味します。モデルをデプロイすると、API を使用してアクセスできるサービスとして利用可能になります。これにより、API 呼び出しを通じて提供したデータ入力に基づいて、予測を返すことができます。このプロセスはモデル 推論 として知られています。OpenShift AI でモデルを提供すると、デプロイされたモデルに対してアクセスできる推論エンドポイントが、ダッシュボードに表示されます。
OpenShift AI は、次のモデルサービングプラットフォームを提供しています。
- シングルモデルサービングプラットフォーム
- OpenShift AI には、大規模言語モデル (LLM) などの大規模モデルをデプロイするために、KServe コンポーネントをベースとした シングルモデルサービングプラットフォーム が組み込まれています。各モデルが独自のモデルサーバーからデプロイされるため、シングルモデルサービングプラットフォームは、多くのリソースを必要とする大規模なモデルのデプロイ、監視、スケーリング、および保守に役立ちます。
- マルチモデルサービングプラットフォーム
- OpenShift AI には、小規模および中規模のモデルをデプロイするために、ModelMesh コンポーネントをベースとした マルチモデルサービングプラットフォーム が組み込まれています。マルチモデルサービングプラットフォームでは、同じモデルサーバーに複数のモデルをデプロイできます。デプロイされた各モデルはサーバーリソースを共有します。このアプローチは、有限のコンピュートリソースまたは Pod を持つ OpenShift クラスターで有利です。
