第3章 IBM Z および IBM Spyre AI アクセラレーターで使用する検証済みモデル

事前にビルドされた IBM Granite モデルは、Red Hat AI Inference Server Spyre コンテナーイメージに含まれる特定の Python パッケージで実行されます。モデルは、Spyre カード数、バッチサイズ、および入出力コンテキストサイズの固定設定に関連付けられます。

Red Hat AI Inference Server Spyre コンテナーイメージでの Python パッケージの更新または置き換えはサポートされていません。