はじめに

Red Hat AI Inference Server で OCI 準拠モデルの推論を実行できます。言語モデルの S3 または URI ベースのストレージの代替手段として、OCI 準拠のモデルコンテナー (modelcars) にモデルを保存します。

modelcar コンテナーを使用すると、繰り返しダウンロードを回避することで起動時間が短縮され、ディスク使用量が削減され、事前に取得したイメージを使用することでパフォーマンスが向上します。クラスター内の modelcar に言語モデルをデプロイする前に、モデルを OCI コンテナーイメージにパッケージ化し、そのコンテナーイメージをクラスターにデプロイする必要があります。