1.11. AI モデルのクエリーについて

手順

1. MicroShift ノードの IP アドレスを取得し、それを IP 変数に割り当てます。以下に例を示します。

   $ IP=$(oc get nodes -o json | jq -r '.items[0].status.addresses[0].address')

   Copy to Clipboard Toggle word wrap

2. 次のコマンドを実行して、作成したルートの名前を特定します。

   $ oc get route -n ai-test <route_name> -o yaml 

   1

   Copy to Clipboard Toggle word wrap

   1

   <route_name> は、実際のルートの名前に置き換えます。

3. 次のコマンドを実行して、ルートの HOST 値を抽出し、DOMAIN 変数に割り当てます。

   DOMAIN=$(oc get route -n ai-test <route_name> -o=jsonpath="{ .status.ingress[0].host }") 

   1

   Copy to Clipboard Toggle word wrap

   1

   <route_name> は、実際のルートの名前に置き換えます。

4. 次のコマンドを実行して、ルートから MicroShift IP アドレスへのデータ転送を有効にします。

   $ curl -i "${DOMAIN}/v2/models/ovms-resnet50/ready" --connect-to "${DOMAIN}::${IP}:" 

   1

   Copy to Clipboard Toggle word wrap

   1

   --connect-to "${DOMAIN}::${IP}:" フラグを使用する代わりに、実際の DNS を使用することも、IP アドレスとドメインを /etc/hosts ファイルに追加することもできます。

   出力例

   HTTP/1.1 200 OK
   content-type: application/json
   date: Wed, 12 Mar 2025 16:01:32 GMT
   content-length: 0
   set-cookie: 56bb4b6df4f80f0b59f56aa0a5a91c1a=4af1408b4a1c40925456f73033d4a7d1; path=/; HttpOnly

   Copy to Clipboard Toggle word wrap

5. 次のコマンドを実行して、モデルのメタデータをクエリーします。

   $ curl "${DOMAIN}/v2/models/ovms-resnet50" --connect-to "${DOMAIN}::${IP}:"

   Copy to Clipboard Toggle word wrap

   出力例

   {"name":"ovms-resnet50","versions":["1"],"platform":"OpenVINO","inputs":[{"name":"0","datatype":"FP32","shape":[1,224,224,3]}],"outputs":[{"name":"1463","datatype":"FP32","shape":[1,1000]}]

   Copy to Clipboard Toggle word wrap

手順

1. 次のコマンドを実行して、OpenVINO Model Server の例からハチのイメージをダウンロードします。

   $ curl -O https://raw.githubusercontent.com/openvinotoolkit/model_server/main/demos/common/static/images/bee.jpeg

   Copy to Clipboard Toggle word wrap

2. 次のスクリプトを実行して、リクエストデータを作成します。

   IMAGE=./bee.jpeg
   REQ=./request.json
   
   # Add an inference header
   echo -n '{"inputs" : [{"name": "0", "shape": [1], "datatype": "BYTES"}]}' > "${REQ}"
   # Get the size of the inference header 

   1

   
   HEADER_LEN="$(stat -c %s "${REQ}")"
   # Add size of the data (image) in binary format (4 bytes, little endian) 

   2

   
   printf "%08X" $(stat --format=%s "${IMAGE}") | sed 's/\(..\)/\1\n/g' | tac | tr -d '\n' | xxd -r -p >> "${REQ}"
   # Add the data, that is, append the image to the request file
   cat "${IMAGE}" >> "${REQ}"

   Copy to Clipboard Toggle word wrap

   1

   推論ヘッダーサイズは、後で HTTP ヘッダーの形式で OpenVINO Model Server に渡す必要があります。

   2

   OpenVINO Model Server は、リトルエンディアンのバイト順で 4 バイト必要です。

検証

1. モデルの予測を決定するには、次の Python スクリプトを使用して、.outputs[0].data 内の最高要素のインデックスを取得し、モデルの予測値を決定します。

   import json
   with open('response.json') as f:
       response = json.load(f)
   data = response["outputs"][0]["data"]
   argmax = data.index(max(data))
   print(argmax)

   Copy to Clipboard Toggle word wrap

   出力例

   309 

   1

   Copy to Clipboard Toggle word wrap

   1

   この例では、309 というラベルの付いた要素がモデルの応答です。

2. 出力を resnet 入力データ に対して検証します。以下に例を示します。

   ../../../../demos/common/static/images/bee.jpeg 309

   Copy to Clipboard Toggle word wrap