AI モデルの使用

手順

1. 次のコマンドを実行して、MicroShift AI-model-serving RPM パッケージをインストールします。

   $ sudo dnf install microshift-ai-model-serving

2. root ユーザーとして、次のコマンドを入力して MicroShift サービスを再起動します。

   $ sudo systemctl restart microshift

3. オプション: 次のコマンドを実行して、リリース情報パッケージをインストールします。

   $ sudo dnf install microshift-ai-model-serving-release-info

   注記

   microshift-ai-model-serving-release-info RPM には、オフラインでの手順や、bootc イメージビルド中に ServingRuntime カスタムリソースのコピーを namespace にデプロイする際に役立つイメージ参照が含まれる JSON ファイルが格納されています。

手順

1. 互換性のあるモデルとモデルサーバーを備えた Containerfile を準備します。

   OVMS で使用される ResNet-50 モデルを含む Containerfile の例

   FROM registry.access.redhat.com/ubi9/ubi-minimal:latest
   RUN microdnf install -y wget && microdnf clean all
   RUN mkdir -p /models/1 && chmod -R 755 /models/1
   RUN wget -q -P /models/1 \
     https://storage.openvinotoolkit.org/repositories/open_model_zoo/2022.1/models_bin/2/resnet50-binary-0001/FP32-INT1/resnet50-binary-0001.bin \
     https://storage.openvinotoolkit.org/repositories/open_model_zoo/2022.1/models_bin/2/resnet50-binary-0001/FP32-INT1/resnet50-binary-0001.xml

2. 次のコマンドを実行して、IMAGE_REF 環境変数を設定し、プロセスを簡素化します。

   $ IMAGE_REF=<ovms-resnet50:test> 

   1

   1

   <ovms-resnet50:test> は、イメージ参照の名前に置き換えます。この例では、<repo:tag> 形式が使用されています。イメージ参照名はユースケースに固有です。

3. 次のコマンドを実行して Containerfile をビルドします。

   $ sudo podman build -t $IMAGE_REF 

   1

   1

   CRI-O と Podman はストレージを共有するため、イメージをルートのコンテナーストレージの一部にして MicroShift で使用できるようにするには、sudo を使用する必要があります。

   出力例

   STEP 1/4: FROM registry.access.redhat.com/ubi9/ubi-minimal:latest
   Trying to pull registry.access.redhat.com/ubi9/ubi-minimal:latest...
   Getting image source signatures
   Checking if image destination supports signatures
   Copying blob 533b69cfd644 done   |
   Copying blob 863e9a7e2102 done   |
   Copying config 098048e6f9 done   |
   Writing manifest to image destination
   Storing signatures
   STEP 2/4: RUN microdnf install -y wget && microdnf clean all
   << SNIP >>
   --> 4c74352ad42e
   STEP 3/4: RUN mkdir -p /models/1 && chmod -R 755 /models/1
   --> bfd31acb1e81
   STEP 4/4: RUN wget -q -P /models/1   https://storage.openvinotoolkit.org/repositories/open_model_zoo/2022.1/models_bin/2/resnet50-binary-0001/FP32-INT1/resnet50-binary-0001.bin   https://storage.openvinotoolkit.org/repositories/open_model_zoo/2022.1/models_bin/2/resnet50-binary-0001/FP32-INT1/resnet50-binary-0001.xml
   COMMIT ovms-resnet50:test
   --> 375b265c1c4b
   Successfully tagged localhost/ovms-resnet50:test
   375b265c1c4bc6f0a059c8739fb2b3a46e1b563728f6d9c51f26f29bb2c87

4. オプション: 次のコマンドを実行して、Containerfile をレジストリーにプッシュします。

   $ sudo podman push $IMAGE_REF

   重要

   オフラインで使用する場合は、latest 以外のタグを含めます。latest タグが使用されている場合、モデルを取得してセットアップするコンテナーは、imagePullPolicy: パラメーターが Always に設定されて構成されており、ローカルのイメージは無視されます。latest 以外のタグを使用する場合、imagePullPolicy: パラメーターは IfNotPresent に設定されます。

手順

1. 次のコマンドを実行して、MicroShift リリース情報ファイルから、使用する ServingRuntime CR のイメージ参照を抽出します。

   $ OVMS_IMAGE="$(jq -r '.images | with_entries(select(.key == "ovms-image")) | .[]' /usr/share/microshift/release/release-ai-model-serving-"$(uname -i)".json)" 

   1

   1

   この例では、OVMS モデルサービングランタイムのイメージ参照が抽出されます。

2. 次のコマンドを実行して、元の ServingRuntime YAML ファイルをコピーします。

   $ cp /usr/lib/microshift/manifests.d/050-microshift-ai-model-serving-runtimes/ovms-kserve.yaml ./ovms-kserve.yaml

3. 次のコマンドを実行して、ServingRuntime YAML の image: パラメーターフィールド値に実際のイメージ参照を追加します。

   $ sed -i "s,image: ovms-image,image: ${OVMS_IMAGE}," ./ovms-kserve.yaml

4. 次のコマンドを実行し、YAML ファイルを使用してカスタム namespace に ServingRuntime オブジェクトを作成します。

   $ oc create -n <ai_demo> -f ./ovms-kserve.yaml 

   1

   1

   <ai_demo> は、namespace の名前に置き換えます。

手順

1. InferenceService CR を作成します。

   openvino_ir モデル形式の InferenceService オブジェクトの例

   apiVersion: serving.kserve.io/v1beta1
   kind: InferenceService
   metadata:
     name: ovms-resnet50
   spec:
     predictor:
       model:
         protocolVersion: v2
         modelFormat:
           name: openvino_ir
         storageUri: "oci://localhost/ovms-resnet50:test"
         args:
         - --layout=NHWC:NCHW 

   1

   1

   OpenVINO Model Server (OVMS) が、モデルが元々エクスポートされたレイアウトとは異なるレイアウトで、要求入力データを受け入れるようにするための追加の引数。追加の引数は OVMS コンテナーに渡されます。

2. InferenceService の例をファイルに保存してから、次のコマンドを実行してクラスター上に作成します。

   $ oc create -n <ai_demo> -f ./FILE.yaml 

   1

   1

   <ai_demo> は、namespace 名に置き換えます。

   出力例

   inferenceservice.serving.kserve.io/ovms-resnet50 created

   注記

   デプロイメントと Pod は、指定された namespace に表示されることが予想されます。ServingRuntime CR で指定されたイメージのサイズと ModelCar OCI イメージのサイズによっては、Pod の準備が完了するまでに数分かかる場合があります。

手順

1. 次のコマンドを実行して、AI モデルがカスタム namespace にデプロイされていることを確認します。

   $ oc get -n ai-demo deployment

   出力例

   NAME                      READY   UP-TO-DATE   AVAILABLE   AGE
   ovms-resnet50-predictor   1/1     1            1           72s

2. 次のコマンドを実行して、デプロイメントが進行中であることを確認します。

   $ oc rollout status -n ai-demo deployment ovms-resnet50-predictor

   出力例

   deployment "ovms-resnet50-predictor" successfully rolled out

3. 次のコマンドを実行して、AI モデルワークロード Pod がカスタム namespace にデプロイされていることを確認します。

   $ oc get -n ai-demo pod

   出力例

   NAME                                       READY   STATUS    RESTARTS      AGE
   ovms-resnet50-predictor-6fdb566b7f-bc9k5   2/2     Running   1 (72s ago)   74s

4. 次のコマンドを実行して、作成されたサービス KServe を確認します。

   $ oc get svc -n ai-demo

   出力例

   NAME                      TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE
   ovms-resnet50-predictor   ClusterIP   None         <none>        80/TCP    119s