第8章 既知の問題


このセクションでは、Red Hat OpenShift AI の既知の問題と、これらの問題を回避する既知の方法を説明します。

RHOAIENG-15123 (RHOAIENG- 10790 および RHOAIENG-14265 としても記述)- アップグレード後にパイプラインスケジュールが失敗する

OpenShift AI 2.15 にアップグレードする場合、アップグレードの実行に失敗する前に存在していたデータサイエンスパイプラインスケジュール済み実行。タスク Pod にエラーメッセージが表示されます。

回避策
ナレッジベースソリューション How to resolve scheduled pipeline run failures after upgrading to Red Hat OpenShift AI 2.15.0 の手順に従います。

RHOAIENG-15033 - OpenShift AI のアップグレード後にモデルレジストリーインスタンスが再起動または更新されない

OpenShift AI をアップグレードすると、モデルレジストリーコンポーネントの既存のインスタンスが更新されないため、インスタンス Pod は Operator Pod によって参照されるイメージよりも古いイメージを使用します。

回避策

OpenShift AI をアップグレードした後、既存のモデルレジストリーごとに、同じデータベース設定を使用する新しいモデルレジストリーインスタンスを作成し、古いモデルレジストリーインスタンスを削除します。新しいモデルレジストリーインスタンスには、既存の登録されたモデルとそのメタデータがすべて含まれます。これらの手順は、OpenShift AI ダッシュボードまたは OpenShift コマンドラインインターフェイス(CLI)から実行できます。OpenShift AI ダッシュボードで以下を実行します。

  1. 既存のモデルレジストリーごとに、同じデータベース設定を使用する新しいインスタンスを作成します。

    1. OpenShift AI ダッシュボードから、Settings Model registry settings をクリックします。
    2. Model registry settings ページのモデルレジストリーの横にあるアクションメニュー()をクリックし、View database configuration をクリックして、既存のレジストリーのデータベース接続の詳細を確認します。
    3. 既存のモデルレジストリーインスタンスと同じデータベース接続の詳細を使用して、新しいモデルレジストリーを作成します。
    4. OpenShift で、モデルレジストリーインスタンス Pod で定義された REST および GRPC イメージがモデルレジストリー Operator Pod 内のイメージと一致することを確認します。
  2. 新規モデルレジストリーの作成後に、元のレジストリーを削除します。

    1. Model registry settings ページで、モデルレジストリーの横にあるアクションメニュー()をクリックし、Delete model registry をクリックします。
    2. 表示される Delete model registry? ダイアログで、テキストフィールドにモデルレジストリーの名前を入力して、削除することを確認します。
    3. Delete model registry をクリックします。

または、OpenShift コマンドラインインターフェイス(CLI)から以下を実行します。

  1. 次のコマンドを実行します。<model_registry_name& gt; はモデルレジストリーの名前に置き換えます。

    oc patch -n rhoai-model-registries mr <model_registry_name> --type=merge -p='{"spec":{"grpc":{"image":""},"rest":{"image":""}}}'
  2. OpenShift で、モデルレジストリーインスタンス Pod で定義された REST および GRPC イメージがモデルレジストリー Operator Pod 内のイメージと一致することを確認します。

RHOAIENG-15008 - 要求名のない CLI からバイアスメトリックを作成するとエラー

requestName パラメーターが設定されていない場合、ユーザーインターフェイスはバイアスメトリックを表示するときにエラーメッセージが表示される場合があります。ユーザーインターフェイスを使用して bias メトリクスを表示し、CLI を介して設定する場合は、ペイロード内に requestName パラメーターを指定する必要があります。

curl -sk -H "Authorization: Bearer ${TOKEN}" -X POST
      --location $TRUSTY_ROUTE/metrics/group/fairness/spd/request
      --header 'Content-Type: application/json'
      --data "{
                 \"modelId\": \"demo-loan-nn-onnx-alpha\",
                 \"protectedAttribute\": \"Is Male-Identifying?\",
                 \"privilegedAttribute\": 1.0,
                 \"unprivilegedAttribute\": 0.0,
                 \"outcomeName\": \"Will Default?\",
                 \"favorableOutcome\": 0,
                 \"batchSize\": 5000,
                 \"requestName\": \"My Request\"
回避策
CLI を使用して、requestName が指定されていないメトリクス要求を削除してから、UI を更新します。

RHOAIENG-14986: 誤ったパッケージパスにより copy_demo_nbs が失敗する

OpenShift AI SDK バージョン 0.22.0 では、SDK パッケージへの誤ったパスが原因で、CodeFlare SDK の copy_demo_nbs () 関数が失敗します。この関数を実行すると、FileNotFound エラーが発生します。

回避策

この問題を回避するには、2 つのオプションがあります。

  1. demo-notebooks ディレクトリーを手動で作成します。
  2. Python シェルまたは空のノートブックから、以下の Python スクリプトを実行して、demo-notebooks ディレクトリーを作成します。
import codeflare_sdk
import os
import pathlib
import shutil

nb_dir = os.path.join(os.path.dirname(codeflare_sdk.__file__), "demo-notebooks")
def copy_nbs(dir: str = "./demo-notebooks", overwrite: bool = False):
    # does dir exist already?
    if overwrite is False and pathlib.Path(dir).exists():
        raise FileExistsError(
            f"Directory {dir} already exists. Please remove it or provide a different location."
        )

    shutil.copytree(nb_dir, dir, dirs_exist_ok=True)

copy_nbs()

RHOAIENG-14552 - Workbench またはノートブック OAuth プロキシーが OCP 4.16 の FIPS で失敗する

FIPS 対応クラスターで OpenShift 4.16 以降を使用すると、内部コンポーネントの oauth-proxy と OpenShift ingress 間の接続が TLS ハンドシェイクエラーを出して失敗するため、実行中のワークベンチへの接続が失敗します。ワークベンチを開くと、ブラウザーに "Application is not available" 画面が表示され、追加の診断はありません。

回避策
なし

RHOAIENG-14271 - Jupyter ノートブックを使用した Ray クラスターで異なる Python バージョンを使用すると互換性エラーが発生する

Jupyter ノートブックで Python バージョン 3.11 を使用して Ray クラスターを作成すると、クラスターはデフォルトで Ray バージョン 2.35 と Python バージョン 3.9 を含むワークベンチイメージに設定されます。Ray Python クライアントにはワークベンチ設定と一致する Python バージョンが必要であるため、この不一致により互換性エラーが発生する可能性があります。

回避策
一致する Python バージョン (ClusterConfiguration 引数を持つ) を含むワークベンチイメージを Ray クラスターで使用します。

RHOAIENG-14197 - CPU およびメモリーグラフのツールチップテキストが切り取られ、判読できない

Distributed Workloads Metrics ページの Project metrics タブにある Top resource-consuming distributed workloads セクションのCPU および Memory グラフにカーソルを合わせると、ツールチップテキストが切り取られ、判読できません。

回避策
CPU および Memory グラフ内で、分散ワークロードのプロジェクトメトリクスを表示します。

RHOAIENG-14095 - OpenShift AI Operator のインストール後、ダッシュボードが一時的に利用できなくなる

OpenShift AI Operator をインストールした後、OpenShift AI ダッシュボードは約 3 分間使用できなくなります。その結果、Cannot read properties of undefined page が表示される場合があります。

回避策
OpenShift AI ダッシュボードに初めてアクセスした後、数分間待ってからブラウザーでページを更新します。

RHOAIENG-13633 - モデルレジストリーの外部からモデルを最初にデプロイしないと、プロジェクトのサービスプラットフォームを設定できません

最初にモデルレジストリーの外部からモデルをデプロイせずに、プロジェクトのサービングプラットフォームを設定することはできません。

現在、プロジェクトでシングルモデルまたはマルチモデルサービングがすでに選択されていない限り、モデルレジストリーからプロジェクトにモデルをデプロイすることはできません。OpenShift AI UI からシングルモデルまたはマルチモデルサービングを選択する唯一の方法は、まずレジストリーの外部からモデルまたはモデルサーバーをデプロイすることです。

回避策

モデルレジストリーから新しいプロジェクトにモデルをデプロイする前に、OpenShift AI ダッシュボードまたは OpenShift コンソールから、プロジェクトのサービングプラットフォームを選択します。

  • OpenShift AI ダッシュボードで以下を実行します。

    1. OpenShift AI ダッシュボードで、Data Science Projects をクリックします。
    2. Models タブをクリックします。
    3. モデルをデプロイするか、モデルサーバーを作成してから削除します。OpenShift AI のモデルとモデルサーバーの詳細は、モデルのサービング (提供) を参照してください。
  • OpenShift コンソールで以下を実行します。

    1. OpenShift Web コンソールで、Home Projects を選択します。
    2. プロジェクトの名前をクリックします。
    3. YAML タブをクリックします。
    4. metadata.labels セクションで、modelmesh-enabled ラベルを追加します。

      1. マルチモデルサービングを選択するには、modelmesh-enabled 値を true に設定します。
      2. シングルモデルのサービングを選択するには、modelmesh-enabled 値を false に設定します。
    5. Save をクリックします。

プロジェクトのサービングプラットフォームを選択したら、モデルレジストリーからそのプロジェクトにモデルをデプロイできます。

RHOAIENG-12233 - /v1/chat/completions エンドポイントを使用する場合は、chat_template パラメーターが必要

vLLM ServingRuntime for KServe ランタイムを設定し、/v1/chat/completions エンドポイントを使用してモデルをクエリーすると、モデルは次の 400 Bad Request エラーで失敗します。

As of transformers v4.44, default chat template is no longer allowed, so you must provide a chat template if the tokenizer does not define one

Transformers v4.44.2 は vLLM v0.5.5 に同梱されています。vLLM v0.5.5 以降では、/v1/chat/completions エンドポイントを使用してモデルをクエリーするときに、チャットテンプレートを提供する必要があります。

回避策

モデルに定義済みのチャットテンプレートが含まれていない場合は、例に示すように、chat-template コマンドラインパラメーターを使用して、カスタム vLLM ランタイムでチャットテンプレートを指定できます。<CHAT_TEMPLATE> をテンプレートのパスに置き換えます。

containers:
  - args:
      - --chat-template=<CHAT_TEMPLATE>

https://github.com/opendatahub-io/vllm/tree/main/examples.jinja ファイルとして、または /apps/data/template の下の vLLM イメージとして利用できるチャットテンプレートを使用できます。詳細は、チャットテンプレート を参照してください。

RHOAIENG-11024 - リソースエントリーが、opendatahub.io/managed アノテーションの削除後に消去される

コンポーネントデプロイメント YAML ファイルから opendatahub.io/managed アノテーションを手動で削除すると、ファイル内の resource エントリー値が消去される可能性があります。

回避策

デプロイメントからアノテーションを削除するには、次の手順に従ってデプロイメントを削除します。

コンポーネントのコントローラー Pod は、デフォルト値で自動的に再デプロイされます。

  1. OpenShift コンソールにクラスター管理者としてログインします。
  2. Administrator パースペクティブで、Workloads > Deployments をクリックします。
  3. Project ドロップダウンリストから、redhat-ods-applications を選択します。
  4. アノテーションを削除するデプロイメントの横にあるオプションメニュー Options menu をクリックします。
  5. Delete Deployment をクリックします。

RHOAIENG-8294 - OpenShift AI 2.8 をバージョン 2.10 以降にアップグレードするときに CodeFlare エラーが発生する

OpenShift AI 2.8 をバージョン 2.10 以降にアップグレードしようとすると、AppWrapper カスタムリソース定義 (CRD) バージョンとの不一致により、CodeFlare コンポーネントに関する次のエラーメッセージが表示されます。

ReconcileCompletedWithComponentErrors DataScienceCluster resource reconciled with component errors: 1 error occurred: * CustomResourceDefinition.apiextensions.k8s.io "appwrappers.workload.codeflare.dev" is invalid: status.storedVersions[0]: Invalid value: "v1beta1": must appear in spec.versions
回避策
  1. 既存の AppWrapper CRD を削除します。

    $ oc delete crd appwrappers.workload.codeflare.dev
  2. AppWrapper CRD の最新バージョンをインストールします。

    $ oc apply -f https://raw.githubusercontent.com/project-codeflare/codeflare-operator/main/config/crd/crd-appwrapper.yml

RHOAIENG-7947 - KServe でのクエリー中にモデルの提供が失敗する

ModelMesh コンポーネントをインストールしてマルチモデルサービングプラットフォームを有効にしてから、KServe コンポーネントをインストールしてシングルモデルサービングプラットフォームを有効にすると、シングルモデルサービングプラットフォームにデプロイされたモデルへの推論リクエストが失敗する可能性があります。このような場合、推論リクエストは 404 - Not Found エラーを返し、odh-model-controller デプロイメントオブジェクトのログに Reconciler エラーメッセージが表示されます。

回避策
OpenShift で、odh-model-controller デプロイメントオブジェクトを再起動します。

RHOAIENG-7716 - パイプライン条件グループのステータスが更新されない

dsl.lf などの条件グループを持つパイプラインを実行すると、パイプラインの実行が完了した後でも、UI にグループのステータスが Running と表示されます。

回避策

アクティブな子タスクがないことを確認することで、パイプラインがまだ実行中かどうかを確認できます。

  1. OpenShift AI ダッシュボードから、Data Science Pipelines Runs をクリックします。
  2. Project ドロップダウンメニューから、データサイエンスプロジェクトをクリックします。
  3. Runs タブから、ステータスを確認する必要があるパイプライン実行をクリックします。
  4. 条件グループを展開し、子タスクをクリックします。

    子タスクに関する情報を含むパネルが表示されます。

  5. パネルで、Task 詳細タブをクリックします。

    Status フィールドに、子タスクの正しいステータスが表示されます。

RHOAIENG-6486 - TensorFlow 2024.1 ノートブックイメージで Elyra JupyterLab エクステンションを使用している場合、Pod ラベル、アノテーション、許容値を設定できない

TensorFlow 2024.1 ノートブックイメージで Elyra JupyterLab エクステンションを使用する場合、実行されたパイプラインから Pod ラベル、アノテーション、許容値は設定できません。これは、kfp および tf2onnx パッケージとの依存関係の競合が原因です。

回避策

TensorFlow 2024.1 ノートブックイメージを使用している場合は、作業が完了したら、割り当てられたワークベンチノートブックイメージを Standard Data Science 2024.1 ノートブックイメージに変更します。

Elyra JupyterLab エクステンションの Pipeline properties タブで、各パイプラインノードの Pod ラベル、アノテーション、許容値とともに、Tensorflow ランタイムイメージをパイプラインノードのデフォルトのランタイムイメージとして個別に設定します。

RHOAIENG-6435 - 分散ワークロードリソースがプロジェクトメトリクスに含まれていない

Distributed Workloads Metrics > Project metrics をクリックして Requested resources セクションを表示した場合は、許可されていない分散ワークロードのリソースが Requested by all projects 値から除外されています。

回避策
なし。

RHOAIENG-6409 - 実行が成功しても、パイプラインログに Cannot save paramete エラーが表示される

Data Science Pipelines 2.0 を使用してパイプラインを複数回実行すると、パイプラインの実行が成功してもパイプラインログに Cannot save parameter エラーが表示されます。これらのエラーは無視しても問題ありません。

回避策
なし。

RHOAIENG-12294 (以前は RHOAIENG-4812 として文書化されていました) - 分散ワークロードメトリクスから GPU メトリクスが除外される

この OpenShift AI リリースでは、分散ワークロードメトリクスから GPU メトリクスが除外されます。

回避策
なし。

RHOAIENG-4570 - 既存の Argo Workflows インストールがインストールまたはアップグレードと競合する

Data Science Pipelines 2.0 には、Argo Workflows のインストールが含まれています。OpenShift AI は、この Argo Workflows インストールの顧客による直接使用をサポートしていません。Data Science Pipelines 2.0 を備えた OpenShift AI をインストールまたはアップグレードするには、クラスターに Argo Workflows がインストールされていないことを確認してください。詳細は、Data Science Pipelines 2.0 の有効化 を参照してください。

回避策
既存の Argo Workflows インストールを削除するか、datasciencepipelinesRemoved に設定してから、インストールまたはアップグレードを続行します。

RHOAIENG-3913 - Red Hat OpenShift AI Operator が、エラーとともに Degrade 状態を False と誤表示する

OpenShift AI Operator が使用する DataScienceCluster (DSC) オブジェクトで KServe コンポーネントを有効にし、依存する Red Hat OpenShift Service Mesh および Red Hat OpenShift Serverless Operators をインストールしていない場合、DSC オブジェクトの kserveReady 条件は、KServe の準備ができていないことを正しく示します。しかし、Degraded 状態では False の値が誤って表示されます。

回避策
Red Hat OpenShift Serverless および Red Hat OpenShift Service Mesh Operators をインストールし、DSC を再作成します。

RHOAIENG-3025 - OVMS が要求するディレクトリーレイアウトが KServe StoragePuller レイアウトと競合する

OpenVINO Model Server (OVMS) ランタイムを使用してシングルモデルサービングプラットフォーム (KServe を使用) にモデルをデプロイすると、OVMS が要求するディレクトリーレイアウトと KServe で使用されるモデル取得ロジックのレイアウトの間に不一致が生じます。具体的には、OVMS はモデルファイルを /<mnt>/models/1/ ディレクトリーに配置することを要求しますが、KServe はモデルファイルを /<mnt>/models/ ディレクトリーに配置します。

回避策

次の操作を実行します。

  1. S3 互換ストレージバケットで、モデルファイルを 1/ というディレクトリーに置きます (例: /<s3_storage_bucket>/models/1/<model_files>)。
  2. OVMS ランタイムを使用してシングルモデルサービングプラットフォームにモデルをデプロイするには、次のいずれかの方法を選択して、モデルファイルへのパスを指定します。

    • OpenShift AI ダッシュボードを使用してモデルをデプロイする場合は、データ接続の Path フィールドで、/<s3_storage_bucket>/models/ 形式を使用してモデルファイルへのパスを指定します。パスの一部として 1/ ディレクトリーを指定しないでください。
    • 独自の InferenceService カスタムリソースを作成してモデルをデプロイする場合は、storageURI フィールドの値を /<s3_storage_bucket>/models/ に設定します。パスの一部として 1/ ディレクトリーを指定しないでください。

KServe は、指定したパスのサブディレクトリーからモデルファイルを取得します。この場合、KServe は S3 互換ストレージの /<s3_storage_bucket>/models/1/ ディレクトリーからモデルファイルを正しく取得します。

RHOAIENG-3018 - KServe 上の OVMS がダッシュボードに正しいエンドポイントを公開しない

OpenVINO Model Server (OVMS) ランタイムを使用してシングルモデルサービングプラットフォームにモデルをデプロイした場合、デプロイしたモデルの Inference endpoint フィールドに表示される URL が不完全なものになります。

回避策
モデルにクエリーを送信するには、URL の末尾に /v2/models/_<model-name>_/infer 文字列を追加する必要があります。_<model-name>_ は、デプロイしたモデルの名前に置き換えてください。

RHOAIENG-2759 - プロジェクトにセキュリティーで保護されたモデルサーバーと通常のモデルサーバーの両方が存在する場合、モデルのデプロイメントが失敗する

1 つのサーバーがトークン認証を使用し、もう 1 つのサーバーが認証を使用しないプロジェクトで 2 番目のモデルサーバーを作成すると、2 番目のモデルのデプロイメントが開始できない場合があります。

回避策
なし。

RHOAIENG-2602 - ModelMesh Pod の再起動により、"平均応答時間" のサーバーメトリクスグラフに複数の行が表示される

ModelMesh Pod が再起動されると、平均応答時間 のサーバーメトリクスグラフに複数の行が表示されます。

回避策
なし。

RHOAIENG-2585 - クラスターで UWM が有効になっていない場合、UI にエラー/警告が表示されない

クラスターで User Workload Monitoring (UWM) が 無効化 されている場合、Red Hat OpenShift AI はユーザーに正しく警告しません。UWM は、モデルメトリクスが正しく機能するために必要です。

回避策
ユーザー定義プロジェクトのモニタリングの有効化 の説明に従って、クラスター内で UWM が有効になっていることを手動で確認します。

RHOAIENG-2555 - フォームでサービングランタイムを変更すると、モデルフレームワークセレクターがリセットされない

Deploy model ダイアログを使用してシングルモデルサービングプラットフォームにモデルをデプロイするときに、ランタイムとサポートされているフレームワークを選択した後で別のランタイムに切り替えても、既存のフレームワークの選択がリセットされません。そのため、選択したランタイムでサポートされていないフレームワークを使用してモデルをデプロイできます。

回避策
モデルのデプロイ時に、選択したランタイムを変更する場合は、Select a framework リストを再度クリックして、サポートされているフレームワークを選択してください。

RHOAIENG-2468 - KServe と同じプロジェクト内のサービスが OpenShift でアクセスできなくなる場合がある

シングルモデルサービングプラットフォーム (KServe を使用) にデプロイされたモデルを含むデータサイエンスプロジェクトに OpenShift AI 以外のサービスをデプロイする場合、サービスのアクセシビリティーが、OpenShift クラスターのネットワーク設定の影響を受ける可能性があります。これは、OVN-Kubernetes ネットワークプラグイン をホストのネットワーク namespace と組み合わせて使用している場合に、特に起こりやすくなります。

回避策

次のいずれかの操作を実行します。

  • シングルモデルサービングプラットフォームにデプロイされたモデルが含まれていない別のデータサイエンスプロジェクトに、サービスをデプロイします。または、別の OpenShift プロジェクトにサービスをデプロイします。
  • 次の例に示すように、サービスが存在するデータサイエンスプロジェクトで、アプリケーション Pod への Ingress トラフィックを受け入れる ネットワークポリシー を追加します。

    apiVersion: networking.k8s.io/v1
    kind: NetworkPolicy
    metadata:
      name: allow-ingress-to-myapp
    spec:
      podSelector:
        matchLabels:
          app: myapp
      ingress:
         - {}

RHOAIENG-2228 - 間隔が 15 秒に設定されている場合、パフォーマンスメトリクスグラフが絶えず変化する

モデルメトリクス画面の Endpoint performance タブで、Refresh interval を 15 秒に、Time range を 1 時間に設定すると、グラフの結果は連続的に変化します。

回避策
なし。

RHOAIENG-2183 - エンドポイントのパフォーマンスグラフに間違ったラベルが表示される場合がある

モデルメトリクス画面の Endpoint performance タブで、グラフツールチップに誤ったラベルが表示される場合があります。

回避策
なし。

RHOAIENG-1919 - Model Serving ページが、デプロイメント直後にモデルルート URL の取得または報告に失敗する

OpenShift AI ダッシュボードからモデルをデプロイすると、システムは次の警告メッセージを表示し、モデルの Status 列には OK または緑色のチェックマークが付き、成功したことを示します。

Failed to get endpoint for this deployed model. routes.rout.openshift.io"<model_name>" not found
回避策
ブラウザーページを更新します。

RHOAIENG-404 - OpenShift AI のダッシュボードで、Enabled ページではなく No Components Found というページがランダムに表示される

Red Hat OpenShift AI ダッシュボードにアクセスすると、No Components Found というページが表示される場合があります。

回避策
ブラウザーのページを更新します。

RHOAIENG-1128 - ワークベンチに接続されていない永続ボリューム (PV) のサイズを増やそうとすると、不明確なエラーメッセージが表示される

ワークベンチに接続されていない永続ボリューム (PV) のサイズを増やそうとすると、不明確なエラーメッセージが表示されます。

回避策
サイズを増やす前に、PV がワークベンチに接続されていることを確認してください。

RHOAIENG-545 - JupyterLab パイプラインエディターで汎用のデフォルトノードランタイムイメージを指定できない

JupyterLab IDE パイプラインエディターで Elyra パイプラインを編集し、PIPELINE PROPERTIES タブをクリックして、Generic Node Defaults セクションまでスクロールして Runtime Image フィールドを編集した場合、変更は保存されません。

回避策
必要なランタイムイメージをノードごとに明示的に定義します。NODE PROPERTIES タブをクリックし、Runtime Image フィールドに必要なイメージを指定します。

RHOAIENG-497 - DSCI を削除すると、OpenShift Service Mesh CR がユーザーへの通知なしに削除される

DSCInitialization リソースを削除すると、OpenShift Service Mesh CR も削除されます。警告メッセージは表示されません。

回避策
なし。

RHOAIENG-282 - 必要なリソースが利用できない場合、ワークロードはディスパッチすべきではない

場合によっては、単一マシンインスタンスに RayCluster を正常にプロビジョニングするために十分なリソースがない場合でも、ワークロードがディスパッチされることがあります。AppWrapper CRD は Running 状態のままであり、関連する Pod は無期限に Pending 状態になります。

回避策
追加のリソースをクラスターに追加します。

RHOAIENG-131 - InferenceService が Loaded と報告した後、gRPC エンドポイントが適切に応答しない

多数の InferenceService インスタンスが生成され、リクエストがダイレクトされると、Service Mesh Control Plane (SMCP) が応答しなくなります。InferenceService インスタンスのステータスは Loaded ですが、gRPC エンドポイントへの呼び出しはエラーとともに返されます。

回避策
ServiceMeshControlPlane カスタムリソース (CR) を編集して、Istio Egress Pod と Ingress Pod のメモリー制限を増やします。

RHOAIENG-130 - モデルが起動されたばかりの場合の同期の問題

KServe コンテナーのステータスが Ready の場合、TGIS コンテナーの準備ができていなくてもリクエストは受け入れられます。

回避策
数秒待って、すべての初期化が完了し、TGIS コンテナーが実際に準備完了であることを確認してから、リクエストの出力を確認します。

RHOAIENG-3115 - モデルが準備完了として表示された後も数秒間クエリーできない

マルチモデルサービングプラットフォームを使用してデプロイされたモデルは、ダッシュボードに Ready と表示されてもクエリーに応答しない場合があります。モデルエンドポイントにクエリーを実行すると、“Application is not available" という応答が表示されることがあります。

回避策
30 - 40 秒待ってから、ブラウザーでページを更新します。

RHOAIENG-1619 (以前は DATA-SCIENCE-PIPELINES-165 として記録されていた問題) - S3 バケットが書き込み可能でない場合の不適切なエラーメッセージ

データ接続を設定し、S3 バケットが書き込み可能でない場合にパイプラインをアップロードしようとすると、Failed to store pipelines というエラーメッセージが表示されますが、有用ではありません。

回避策
データ接続の認証情報が正しいこと、および指定したバケットへの書き込みアクセス権があることを確認してください。

RHOAIENG-1207 (以前は ODH-DASHBOARD-1758 として記録されていた問題) - OOTB カスタムサービングランタイムを数回複製するときにエラーが発生する

モデルサービングランタイムを複数回複製すると、複製が失敗し、Serving runtime name "<name>" already exists というエラーメッセージが表示されます。

回避策
metadata.name フィールドを一意の値に変更します。

RHOAIENG-1201 (以前は ODH-DASHBOARD-1908 として記録されていた問題) - 空の環境変数でワークベンチを作成できない

ワークベンチを作成するときに、Add variable をクリックしてもリストから環境変数のタイプを選択しないと、ワークベンチを作成できません。このフィールドは必須としてマークされておらず、エラーメッセージも表示されません。

回避策
なし。

RHOAIENG-432 (以前は RHODS-12928 として記録されていた問題) - サポートされていない文字を使用すると、複数のダッシュを含む Kubernetes リソース名が生成される場合がある

リソースを作成し、サポートされていない文字を名前として指定すると、各スペースがダッシュに置き換えられ、他のサポートされていない文字が削除されるため、リソース名が無効になる可能性があります。

回避策
なし。

RHOAIENG-226 (以前は RHODS-12432 として記録されていた問題) - notebook-culler ConfigMap を削除すると、ダッシュボードに Permission Denied と表示される

redhat-ods-applications namespace で notebook-controller-culler-config ConfigMap を削除すると、OpenShift AI ダッシュボードの Cluster Settings ページへの変更を保存できなくなります。保存操作は、HTTP request has failed というエラーで失敗します。

回避策

cluster-admin 権限を持つユーザーとして以下の手順を実行します。

  1. oc クライアントを使用して、クラスターにログインします。
  2. 次のコマンドを入力して、redhat-ods-applications アプリケーション namespace の OdhDashboardConfig カスタムリソースを更新します。

    $ oc patch OdhDashboardConfig odh-dashboard-config -n redhat-ods-applications --type=merge -p '{"spec": {"dashboardConfig": {"notebookController.enabled": true}}}'

RHOAIENG-133 - ノートブックの再起動後、既存のワークベンチが Elyra パイプラインを実行できない

Elyra JupyterLab エクステンションを使用して JupyterLab 内でデータサイエンスパイプラインを作成および実行し、ワークベンチを作成してワークベンチ内でノートブックイメージを指定した 後に パイプラインサーバーを設定すると、ノートブックを再起動した後でもパイプラインを実行できません。

回避策
  1. 実行中のノートブックを停止します。
  2. ワークベンチを編集して小さな変更を加えます。たとえば、新しいダミー環境変数を追加したり、既存の不要な環境変数を削除したりします。変更を保存します。
  3. ノートブックを再起動します。
  4. JupyterLab の左側のサイドバーで、Runtimes をクリックします。
  5. デフォルトのランタイムが選択されていることを確認します。

RHOAIENG-11 - 個別にインストールされた CodeFlare Operator のインスタンスはサポートされていない

Red Hat OpenShift AI では、CodeFlare Operator はベース製品に含まれており、別個の Operator には含まれていません。Red Hat またはコミュニティーから個別にインストールされた CodeFlare Operator のインスタンスはサポートされていません。

回避策
インストールされている CodeFlare Operators をすべて削除し、Red Hat OpenShift AI をインストールして設定します。Red Hat ナレッジベースソリューションの How to migrate from a separately installed CodeFlare Operator in your data science cluster の説明に従ってください。

RHODS-12798 - Pod が "unable to init seccomp" エラーで失敗する

seccomp メモリーリークを引き起こす既知のカーネルバグが原因で、Pod は Running のステータスではなく CreateContainerError ステータスまたは Pending ステータスで失敗します。Pod が失敗した namespace でイベントをチェックするか、oc describe pod コマンドを実行すると、以下のエラーが表示されます。

runc create failed: unable to start container process: unable to init seccomp: error loading seccomp filter into kernel: error loading seccomp filter: errno 524
回避策
Red Hat ナレッジベースのソリューション記事 Pods failing with error loading seccomp filter into kernel: errno 524 in OpenShift 4 の説明に従って、net.core.bpf_jit_limit の値を増やします。

KUBEFLOW-177 - OAuth-proxy で転送されないアプリケーションのベアラートークン

アプリケーションの内部認証メカニズムがベアラートークンに基づいている場合、アプリケーションをカスタムワークベンチイメージとして使用できません。OAuth プロキシー設定によりヘッダーからベアラートークンが削除されるため、アプリケーションは適切に動作できなくなります。

回避策
なし。

NOTEBOOKS-210 - Jupyter でノートブックを PDF ファイルとしてエクスポートできない

Jupyter でノートブックを PDF ファイルとしてエクスポートすると、エラーが発生してエクスポートプロセスが失敗します。

回避策
なし。

RHOAIENG-1210 (以前は ODH-DASHBOARD-1699 として記録されていた問題) - すべての設定変更に対してワークベンチが自動的に再起動しない

設定の変更を加えるとワークベンチが再起動されることを示す警告メッセージが、ワークベンチの設定の編集時に表示されます。次の場合、ワークベンチは自動的に再起動しないため、この警告は誤解を招きます。

  • 名前を編集する
  • 説明を編集する
  • 既存の環境変数のキーおよび値を編集、追加、または削除する
回避策
ワークベンチを手動で再起動します。

RHOAIENG-1208 (以前は ODH-DASHBOARD-1741 として記録されていた問題) - 名前が数字で始まるワークベンチを作成できない

名前が数字で始まるワークベンチを作成しようとすると、ワークベンチは起動しません。

回避策
ワークベンチを削除し、文字で始まる名前を付けて新しいワークベンチを作成します。

KUBEFLOW-157: OpenShift AI ダッシュボードからすでにログアウトしている場合、JupyterLab からのログアウトが機能しない

JupyterLab からログアウトする前に OpenShift AI ダッシュボードからログアウトすると、JupyterLab から正常にログアウトされません。たとえば、Jupyter ノートブックの URL がわかっている場合は、これをブラウザーで再度開くことができます。

回避策
OpenShift AI ダッシュボードからログアウトする前に、JupyterLab からログアウトします。

RHODS-9789: データベース名またはユーザー名フィールドにダッシュがあるカスタムデータベースが含まれる場合はパイプラインサーバーは起動に失敗する

カスタムデータベースを使用するパイプラインサーバーを作成する場合、dbname フィールドまたは username フィールドに設定した値にダッシュが含まれていると、パイプラインサーバーは起動に失敗します。

回避策
パイプラインサーバーを編集して、対象のフィールドからダッシュを削除します。

RHOAIENG-580 (以前は RHODS-9412 として記録されていた問題) - 編集権限を持つユーザーがワークベンチを作成した場合、Elyra パイプラインが実行に失敗する

プロジェクトの編集権限を付与されたユーザーがプロジェクトワークベンチを作成すると、そのユーザーには次の動作が表示されます。

  • ワークベンチの作成プロセス中に、Kubernetes ロールバインディングの作成に関連する Error creating workbench メッセージがユーザーに表示されます。
  • 前述のエラーメッセージにもかかわらず、OpenShift AI は引き続きワークベンチを作成します。ただし、このエラーメッセージは、ユーザーがワークベンチを使用して Elyra データサイエンスパイプラインを実行できないことを意味します。
  • ユーザーがワークベンチを使用して Elyra パイプラインを実行しようとすると、Jupyter は初期化の失敗を説明する Error making request メッセージを表示します。

    回避策
    管理者権限を持つユーザー (プロジェクト所有者など) は、編集権限を持つユーザーに代わってワークベンチを作成する必要があります。その後、そのユーザーはワークベンチを使用して Elyra パイプラインを実行できるようになります。

RHODS-7718: ダッシュボード権限のないユーザーは、実行中のノートブックとワークベンチを無期限に使用し続けることができる

Red Hat OpenShift AI 管理者がユーザーの権限を取り消しても、引き続きユーザーは実行中のノートブックとワークベンチを無期限で使用できます。

回避策
OpenShift AI 管理者がユーザーの権限を取り消す場合、管理者はそのユーザーに対して実行中のノートブックとワークベンチも停止する必要があります。

RHOAIENG-1157 (以前は RHODS-6955 として記録されていた問題) - ワークベンチを編集しようとするとエラーが発生することがある

ワークベンチの編集時に、以下のようなエラーが発生する可能性があります。

Error creating workbench
Operation cannot be fulfilled on notebooks.kubeflow.org "workbench-name": the object has been modified; please apply your changes to the latest version and try again
回避策
なし。

RHOAIENG-1152 (以前は RHODS-6356 として記録されていた問題) - ダッシュボードにログインしたことがないユーザーのノートブック作成プロセスが失敗する

ダッシュボードのノートブック Administration ページには、OpenShift のユーザーグループと管理者グループに属するユーザーが表示されます。ただし、管理者がダッシュボードにログインしたことのないユーザーに代わってノートブックサーバーを起動しようとすると、サーバーの作成プロセスが失敗し、次のエラーメッセージが表示されます。

Request invalid against a username that does not exist.
回避策
該当するユーザーにダッシュボードへのログインを依頼します。

RHODS-5763: ノートブックの選択時に誤ったパッケージバージョンが表示される

Start a notebook server ページには、Anaconda ノートブックイメージの正しくないバージョン番号が表示されます。

回避策
なし。

RHODS-5543: NVIDIA GPU Operator を使用すると、Node Autoscaler によって必要以上のノードが作成される

使用可能なリソースが不十分なために Pod をスケジュールできないと、Node Autoscaler は新しいノードを作成します。新しく作成されたノードが関連する GPU ワークロードを受け取るまで、遅延があります。したがって、Pod をスケジュールすることはできず、Node Autoscaler は、ノードの 1 つが GPU ワークロードを受け取る準備ができるまで、追加の新しいノードを継続的に作成します。この問題の詳細は、Red Hat ナレッジベースのソリューション記事 NVIDIA GPU Operator を使用すると、Node Autoscaler によって必要以上のノードが作成される を参照してください。

回避策
machineset.spec.template.spec.metadatacluster-api/accelerator ラベルを適用します。これにより、オートスケーラーは、GPU ドライバーがデプロイされるまで、これらのノードを準備ができていないと見なします。

RHOAIENG-1137 (以前は RHODS-5251 として記録されていた問題) - ノートブックサーバー管理ページに権限へのアクセスを失ったユーザーが表示される

以前に Jupyter でノートブックサーバーを起動したユーザーがその権限を失った場合 (たとえば、OpenShift AI 管理者がユーザーのグループ設定を変更したり、許可されたグループからユーザーを削除したりした場合)、管理者は引き続きサーバーの Administration ページでユーザーのノートブックサーバーを表示します。その結果、管理者は、権限が取り消されたユーザーに属するノートブックサーバーを再起動できるようになります。

回避策
なし。

RHODS-4799: Tensorboard を表示するには手動の手順が必要

TensorFlow または PyTorch ノートブックイメージを使用しており、TensorBoard を使用してデータを表示する場合に、ノートブック環境に環境変数を追加して、独自のコードで使用する環境変数をインポートするといった手作業の手順が必要です。

回避策

ノートブックサーバーを起動するときに、次のコードを使用して TENSORBOARD_PROXY_URL 環境変数の値を設定し、OpenShift AI ユーザー ID を使用します。

import os
os.environ["TENSORBOARD_PROXY_URL"]= os.environ["NB_PREFIX"]+"/proxy/6006/"

RHODS-4718: Intel® oneAPI AI Analytics Toolkits のクイックスタートが、存在しないサンプルノートブックを参照している

ダッシュボードの Resources ページにある Intel® oneAPI AI アナリティクスツールキットクイックスタートでは、手順の一部としてサンプルノートブックをロードする必要がありますが、関連するリポジトリーに存在しないノートブックを参照しています。

回避策
なし。

RHODS-4627 - Anaconda Professional Edition のライセンスを検証する CronJob が一時停止し、毎日実行されない

Anaconda Professional Edition のライセンスを検証する CronJob が、OpenShift AI Operator によって自動的に一時停止されます。その結果、CronJob がスケジュールどおりに毎日実行されなくなります。さらに、Anaconda Professional Edition のライセンスの有効期限が切れると、Anaconda Professional Edition は OpenShift AI ダッシュボードで無効と示されません。

回避策
なし。

RHOAIENG-1141 (以前は RHODS-4502 として記録されていた問題) - ダッシュボード上の NVIDIA GPU Operator タイルに不必要にボタンが表示される

NVIDIA GPU Operator がインストールされると、Jupyter で GPU が自動的に使用可能になります。したがって、Explore ページの Nvidia GPU Operator タイルにある Enable ボタンは不要です。さらに、Enable ボタンをクリックすると、Operator がインストールされていない場合でも、NVIDIA GPU Operator タイルが Enabled ページに移動します。

回避策
なし。

RHOAIENG-1135 (以前は RHODS-3985 として記録されていた問題) - ISV Operator のアンインストール後、ダッシュボードに Enabled ページのコンテンツが表示されない

ISV Operator をアンインストールすると、ダッシュボードの Enabled ページにコンテンツが表示されません。代わりに、以下のエラーが表示されます。

Error loading components
HTTP request failed
回避策
30 - 40 秒待ってから、ブラウザーでページを更新します。

RHODS-3984: ノートブックの選択時に誤ったパッケージバージョンが表示される

OpenShift AI インターフェイスで、Start a notebook server ページに、oneAPI AI Analytics Toolkit ノートブックイメージに含まれる JupyterLab パッケージおよび Notebook パッケージの誤ったバージョン番号が表示されます。このページには、このイメージが使用する Python バージョンの誤った値が表示される場合もあります。

回避策
oneAPI AI Analytics Toolkit ノートブックサーバーを起動するときに、ノートブックセルで !pip list コマンドを実行すると、ノートブックサーバーにインストールされている Python パッケージと、所有しているパッケージのバージョンを確認できます。

RHODS-2956: ノートブックインスタンスの作成時にエラーが発生する可能性がある

Jupyter でノートブックインスタンスを作成すると、Directory not found エラーが断続的に表示されます。このエラーメッセージは、Dismiss をクリックすると無視できます。

回避策
なし。

RHOAING-1147 (以前は RHODS-2881 として記録されていた問題) - ダッシュボード上のアクションが明確に表示されない

無効になったアプリケーションのライセンスを再検証し、無効になったアプリケーションのタイルを削除するダッシュボードアクションは、ユーザーには明確に表示されません。これらのアクションは、ユーザーがアプリケーションタイルの Disabled ラベルをクリックすると表示されます。その結果、意図したワークフローがユーザーにとって明確でない場合があります。

回避策
なし。

RHOAIENG-1134 (以前は RHODS-2879 として記録されていた問題) - ライセンス再検証アクションが不必要に表示される

無効になったアプリケーションのライセンスを再検証するダッシュボードアクションは、ライセンス検証またはアクティベーションシステムがないアプリケーションでは不要に表示されます。さらに、ユーザーが再検証できないライセンスを再検証しようとしても、アクションを完了できない理由を示すフィードバックが表示されません。

回避策
なし。

RHOAIENG-2305 (以前は RHODS-2650 として記録されていた問題) - Pachyderm のデプロイ中にエラーが発生することがある

Pachyderm Operator のインスタンスを作成すると、Webhook エラーが断続的に表示され、作成プロセスを正常に開始できなくなります。Webhook エラーは、Pachyderm Operator がヘルスチェックに失敗して再起動したか、Operator プロセスがコンテナーに割り当てられたメモリー制限を超えてメモリー不足 (OOM) キルをトリガーしたことを示しています。

回避策
エラーが表示されなくなるまで、Pachyderm インスタンスの作成プロセスを繰り返します。

RHODS-2096 - IBM Watson Studio は OpenShift AI で利用できない

IBM Watson Studio は、OpenShift AI が OpenShift Dedicated 4.9 以降にインストールされている場合は使用できません。これは、OpenShift Dedicated のこれらのバージョンと互換性がないためです。

回避策
OpenShift Dedicated 4.9 以降で Watson Studio を手動で設定する方法は、Marketplace サポート にお問い合わせください。

RHODS-1888 - アンインストール後も OpenShift AI ハイパーリンクが表示される

OpenShift AI アドオンが OpenShift Dedicated クラスターからアンインストールされても、OpenShift AI インターフェイスへのリンクはアプリケーション起動メニューに表示されたままになります。OpenShift AI は利用できなくなっているため、このリンクをクリックすると "Page Not Found" エラーが発生します。

回避策
なし。
Red Hat logoGithubRedditYoutubeTwitter

詳細情報

試用、購入および販売

コミュニティー

Red Hat ドキュメントについて

Red Hat をお使いのお客様が、信頼できるコンテンツが含まれている製品やサービスを活用することで、イノベーションを行い、目標を達成できるようにします。

多様性を受け入れるオープンソースの強化

Red Hat では、コード、ドキュメント、Web プロパティーにおける配慮に欠ける用語の置き換えに取り組んでいます。このような変更は、段階的に実施される予定です。詳細情報: Red Hat ブログ.

会社概要

Red Hat は、企業がコアとなるデータセンターからネットワークエッジに至るまで、各種プラットフォームや環境全体で作業を簡素化できるように、強化されたソリューションを提供しています。

© 2024 Red Hat, Inc.