第8章 既知の問題
このセクションでは、Red Hat OpenShift AI 2.11 の既知の問題と、これらの問題を回避する既知の方法を説明します。
RHOAIENG-9670 - リクエストの処理中に vLLM コンテナーが断続的にクラッシュする
シングルモデルサービングプラットフォームで KServe ランタイム用の vLLM ServingRuntime を使用してモデルをデプロイし、tensor-parallel-size
も設定した場合、使用したハードウェアプラットフォームによっては、リクエストの処理中に kserve-container
コンテナーが断続的にクラッシュします。
- 回避策
- なし。コンテナーを再起動すると、リクエストは正常に処理されます。
RHOAIENG-9498 - パイプライン実行のタスク実行ステータスが更新されない
完了したパイプライン実行からのタスク実行は、UI に Running ステータスで表示されます。
- 回避策
- なし。
RHOAIENG-9481 - アクションメニューをクリックするとパイプライン実行メニューに不具合が発生する
Experiments > Experiments and runs ページでパイプライン実行の横にあるアクションメニュー (⋮) をクリックすると、表示されるメニューが完全には表示されず、すべてのメニュー項目を表示するにはスクロールする必要があります。
- 回避策
- なし。
RHOAIENG-8553 - カスタムイメージで作成したワークベンチに !Deleted
フラグが表示される
OpenShift クラスターで内部イメージレジストリーを無効にし、イメージタグ (例: quay.io/my-wb-images/my-image:tag
) を使用してインポートしたカスタムイメージでワークベンチを作成すると、Data Science Projects ページの Workbenches タブの Notebook image 列に !Deleted
フラグが表示されます。ワークベンチを停止すると、再起動できなくなります。
- 回避策
SHA ダイジェスト (例:
quay.io/my-repo/my-image@sha256:xxxxxxxxxxxxx
) を使用してカスタムイメージをインポートし、カスタムイメージを使用してワークベンチを作成します。注記- OpenShift クラスター管理者は、クラスター上で内部イメージレジストリーが有効になっているかどうかを確認できます。
- OpenShift AI 管理ユーザーは、タグ表記を使用してカスタムイメージをインポートしたかどうかを確認できます。
RHOAIENG-8294 - OpenShift AI 2.8 をバージョン 2.10 以降にアップグレードするときに CodeFlare エラーが発生する
OpenShift AI 2.8 をバージョン 2.10 以降にアップグレードしようとすると、AppWrapper
カスタムリソース定義 (CRD) バージョンとの不一致により、CodeFlare コンポーネントに関する次のエラーメッセージが表示されます。
ReconcileCompletedWithComponentErrors DataScienceCluster resource reconciled with component errors: 1 error occurred: * CustomResourceDefinition.apiextensions.k8s.io "appwrappers.workload.codeflare.dev" is invalid: status.storedVersions[0]: Invalid value: "v1beta1": must appear in spec.versions
- 回避策
既存の
AppWrapper
CRD を削除します。$ oc delete crd appwrappers.workload.codeflare.dev
AppWrapper
CRD の最新バージョンをインストールします。$ oc apply -f https://raw.githubusercontent.com/project-codeflare/codeflare-operator/main/config/crd/crd-appwrapper.yml
RHOAIENG-7947 - KServe でのクエリー中にモデルの提供が失敗する
ModelMesh コンポーネントをインストールしてマルチモデルサービングプラットフォームを有効にしてから、KServe コンポーネントをインストールしてシングルモデルサービングプラットフォームを有効にすると、シングルモデルサービングプラットフォームにデプロイされたモデルへの推論リクエストが失敗する可能性があります。このような場合、推論リクエストは 404 - Not Found
エラーを返し、odh-model-controller
デプロイメントオブジェクトのログに Reconciler
エラーメッセージが表示されます。
- 回避策
-
OpenShift で、
odh-model-controller
デプロイメントオブジェクトを再起動します。
RHOAIENG-7887 - Kueue が RayCluster または PyTorchJob リソースの監視に失敗する
すべてのコンポーネントが有効な状態で DataScienceCluster
CR を作成すると、Ray コンポーネントと Training Operator コンポーネントの前に Kueue コンポーネントがインストールされます。その結果、Kueue コンポーネントが RayCluster
または PyTorchJob
リソースを監視しなくなります。
- 回避策
次のいずれかの操作を実行します。
-
Ray コンポーネントと Training Operator コンポーネントをインストールした後、
redhat-ods-applications
namespace で Kueue コントローラー Pod を再起動します。 -
または、
DataScienceCluster
CR を編集してkueue
コンポーネントをRemoved
としてマークし、Kueue がアンインストールされるまで待ってから、kueue
コンポーネントを再度Managed
としてマークします。
-
Ray コンポーネントと Training Operator コンポーネントをインストールした後、
RHOAIENG-7716 - パイプライン条件グループのステータスが更新されない
dsl.lf
などの条件グループを持つパイプラインを実行すると、パイプラインの実行が完了した後でも、UI にグループのステータスが Running
と表示されます。
- 回避策
アクティブな子タスクがないことを確認することで、パイプラインがまだ実行中かどうかを確認できます。
-
OpenShift AI ダッシュボードから、Data Science Pipelines
Runs をクリックします。 - Project ドロップダウンメニューから、データサイエンスプロジェクトをクリックします。
- Runs タブから、ステータスを確認する必要があるパイプライン実行をクリックします。
条件グループを展開し、子タスクをクリックします。
子タスクに関する情報を含むパネルが表示されます。
パネルで、Task 詳細タブをクリックします。
Status フィールドに、子タスクの正しいステータスが表示されます。
-
OpenShift AI ダッシュボードから、Data Science Pipelines
RHOAIENG-6646 - アップグレード中に Model Serving ページを表示するとエラーが表示される
OpenShift AI のアップグレードにダッシュボードを使用してモデルをデプロイしようとすると、t.status is undefined
というエラーメッセージが表示されることがあります。
- 回避策
- アップグレードされた OpenShift AI Operator の準備が整うまで待機してから、ブラウザーでページを更新します。
RHOAIENG-6486 - TensorFlow 2024.1 ノートブックイメージで Elyra JupyterLab エクステンションを使用している場合、Pod ラベル、アノテーション、許容値を設定できない
TensorFlow 2024.1 ノートブックイメージで Elyra JupyterLab エクステンションを使用する場合、実行されたパイプラインから Pod ラベル、アノテーション、許容値は設定できません。これは、kfp および tf2onnx パッケージとの依存関係の競合が原因です。
- 回避策
TensorFlow 2024.1 ノートブックイメージを使用している場合は、作業が完了したら、割り当てられたワークベンチノートブックイメージを Standard Data Science 2024.1 ノートブックイメージに変更します。
Elyra JupyterLab エクステンションの Pipeline properties タブで、各パイプラインノードの Pod ラベル、アノテーション、許容値とともに、Tensorflow ランタイムイメージをパイプラインノードのデフォルトのランタイムイメージとして個別に設定します。
RHOAIENG-6435 - 分散ワークロードリソースがプロジェクトメトリクスに含まれていない
Distributed Workloads Metrics > Project metrics をクリックして Requested resources セクションを表示した場合は、許可されていない分散ワークロードのリソースが Requested by all projects 値から除外されています。
- 回避策
- なし。
RHOAIENG-6409 - 実行が成功しても、パイプラインログに Cannot save paramete
エラーが表示される
Data Science Pipelines 2.0 を使用してパイプラインを複数回実行すると、パイプラインの実行が成功してもパイプラインログに Cannot save parameter
エラーが表示されます。これらのエラーは無視しても問題ありません。
- 回避策
- なし。
RHOAIENG-6376 - パイプラインコンポーネントの pip_index_urls
をポート番号とパスを含む URL に設定するとパイプライン実行の作成が失敗する
パイプラインを作成してコンポーネントの pip_index_urls
値をポート番号とパスを含む URL に設定した場合、パイプラインコードをコンパイルしてパイプライン実行を作成すると、次のエラーが発生します。
ValueError: Invalid IPv6 URL
- 回避策
-
protocol://hostname
のみを使用して新しい pip サーバーを作成し、その新しいサーバーでコンポーネントのpip_index_urls
値を更新します。 - パイプラインコードを再コンパイルします。
- 新しいパイプライン実行を作成します。
-
RHOAIENG-4812 - 分散ワークロードメトリクスから GPU メトリクスが除外される
この OpenShift AI リリースでは、分散ワークロードメトリクスから GPU メトリクスが除外されます。
- 回避策
- なし。
RHOAIENG-4570 - 既存の Argo Workflows インストールがインストールまたはアップグレードと競合する
Data Science Pipelines 2.0 には、Argo Workflows のインストールが含まれています。OpenShift AI は、この Argo Workflows インストールの顧客による直接使用をサポートしていません。Data Science Pipelines 2.0 を備えた OpenShift AI をインストールまたはアップグレードするには、クラスターに Argo Workflows がインストールされていないことを確認してください。詳細は、Data Science Pipelines 2.0 の有効化 を参照してください。
- 回避策
-
既存の Argo Workflows インストールを削除するか、
datasciencepipelines
をRemoved
に設定してから、インストールまたはアップグレードを続行します。
RHOAIENG-3913 - Red Hat OpenShift AI Operator が、エラーとともに Degrade
状態を False
と誤表示する
OpenShift AI Operator が使用する DataScienceCluster (DSC) オブジェクトで KServe コンポーネントを有効にし、依存する Red Hat OpenShift Service Mesh および Red Hat OpenShift Serverless Operators をインストールしていない場合、DSC オブジェクトの kserveReady
条件は、KServe の準備ができていないことを正しく示します。しかし、Degraded
状態では False
の値が誤って表示されます。
- 回避策
- Red Hat OpenShift Serverless および Red Hat OpenShift Service Mesh Operators をインストールし、DSC を再作成します。
RHOAIENG-4240 - 保護されていない環境でジョブを Ray クラスターに送信できない
保護されていない OpenShift クラスター内のノートブックから分散データサイエンスワークロードを実行すると、ConnectionError: Failed to connect to Ray
というエラーメッセージが表示されることがあります。
- 回避策
-
ノートブックの
ClusterConfiguration
セクションで、openshift_oauth
オプションをTrue
に設定します。
RHOAIENG-3981 - 保護されていない環境で、Ray クラスターの準備が完了するまで待機する機能が停止する
保護されていない OpenShift クラスター内のノートブックから分散データサイエンスワークロードを実行すると、Ray クラスターの準備が完了するまで待機する機能 (cluster.wait_ready()
) が、Ray クラスターの準備が完了していても停止します。
- 回避策
次のいずれかの操作を実行します。
-
ノートブックの
ClusterConfiguration
セクションで、openshift_oauth
オプションをTrue
に設定します。 -
cluster.wait_ready()
機能を使用する代わりに、Ray クラスターのルート URL を開くことで、Ray クラスターの可用性を手動で確認できます。この URL で Ray ダッシュボードが利用可能であれば、クラスターの準備が完了しています。
-
ノートブックの
RHOAIENG-3025 - OVMS が要求するディレクトリーレイアウトが KServe StoragePuller レイアウトと競合する
OpenVINO Model Server (OVMS) ランタイムを使用してシングルモデルサービスプラットフォーム (KServe を使用) にモデルをデプロイすると、OVMS が要求するディレクトリーレイアウトと KServe で使用されるモデル取得ロジックのレイアウトの間に不一致が生じます。具体的には、OVMS はモデルファイルを /<mnt>/models/1/
ディレクトリーに配置することを要求しますが、KServe はモデルファイルを /<mnt>/models/
ディレクトリーに配置します。
- 回避策
次の操作を実行します。
-
S3 互換ストレージバケットで、モデルファイルを
1/
というディレクトリーに置きます (例:/<s3_storage_bucket>/models/1/<model_files>
)。 OVMS ランタイムを使用してシングルモデルサービングプラットフォームにモデルをデプロイするには、次のいずれかの方法を選択して、モデルファイルへのパスを指定します。
-
OpenShift AI ダッシュボードを使用してモデルをデプロイする場合は、データ接続の Path フィールドで、
/<s3_storage_bucket>/models/
形式を使用してモデルファイルへのパスを指定します。パスの一部として1/
ディレクトリーを指定しないでください。 -
独自の
InferenceService
カスタムリソースを作成してモデルをデプロイする場合は、storageURI
フィールドの値を/<s3_storage_bucket>/models/
に設定します。パスの一部として1/
ディレクトリーを指定しないでください。
-
OpenShift AI ダッシュボードを使用してモデルをデプロイする場合は、データ接続の Path フィールドで、
-
S3 互換ストレージバケットで、モデルファイルを
KServe は、指定したパスのサブディレクトリーからモデルファイルを取得します。この場合、KServe は S3 互換ストレージの /<s3_storage_bucket>/models/1/
ディレクトリーからモデルファイルを正しく取得します。
RHOAIENG-3018 - KServe 上の OVMS がダッシュボードに正しいエンドポイントを公開しない
OpenVINO Model Server (OVMS) ランタイムを使用してシングルモデルサービングプラットフォームにモデルをデプロイした場合、デプロイしたモデルの Inference endpoint フィールドに表示される URL が不完全なものになります。
- 回避策
-
モデルにクエリーを送信するには、URL の末尾に
/v2/models/_<model-name>_/infer
文字列を追加する必要があります。_<model-name>_
は、デプロイしたモデルの名前に置き換えてください。
RHOAIENG-2759 - プロジェクトにセキュリティーで保護されたモデルサーバーと通常のモデルサーバーの両方が存在する場合、モデルのデプロイメントが失敗する
1 つのサーバーがトークン認証を使用し、もう 1 つのサーバーが認証を使用しないプロジェクトで 2 番目のモデルサーバーを作成すると、2 番目のモデルのデプロイメントが開始できない場合があります。
- 回避策
- なし。
RHOAIENG-2602 - ModelMesh Pod の再起動により、"平均応答時間" のサーバーメトリクスグラフに複数の行が表示される
ModelMesh Pod が再起動されると、平均応答時間 のサーバーメトリクスグラフに複数の行が表示されます。
- 回避策
- なし。
RHOAIENG-2585 - クラスターで UWM が有効になっていない場合、UI にエラー/警告が表示されない
クラスターで User Workload Monitoring (UWM) が 無効化 されている場合、Red Hat OpenShift AI はユーザーに正しく警告しません。UWM は、モデルメトリクスが正しく機能するために必要です。
- 回避策
- ユーザー定義プロジェクトのモニタリングの有効化 の説明に従って、クラスター内で UWM が有効になっていることを手動で確認します。
RHOAIENG-2555 - フォームでサービングランタイムを変更すると、モデルフレームワークセレクターがリセットされない
Deploy model ダイアログを使用してシングルモデルサービングプラットフォームにモデルをデプロイするときに、ランタイムとサポートされているフレームワークを選択した後で別のランタイムに切り替えても、既存のフレームワークの選択がリセットされません。そのため、選択したランタイムでサポートされていないフレームワークを使用してモデルをデプロイできます。
- 回避策
- モデルのデプロイ時に、選択したランタイムを変更する場合は、Select a framework リストを再度クリックして、サポートされているフレームワークを選択してください。
RHOAIENG-2468 - KServe と同じプロジェクト内のサービスが OpenShift でアクセスできなくなる場合がある
シングルモデルサービングプラットフォーム (KServe を使用) にデプロイされたモデルを含むデータサイエンスプロジェクトに OpenShift AI 以外のサービスをデプロイする場合、サービスのアクセシビリティーが、OpenShift クラスターのネットワーク設定の影響を受ける可能性があります。これは、OVN-Kubernetes ネットワークプラグイン をホストのネットワーク namespace と組み合わせて使用している場合に、特に起こりやすくなります。
- 回避策
次のいずれかの操作を実行します。
- シングルモデルサービングプラットフォームにデプロイされたモデルが含まれていない別のデータサイエンスプロジェクトに、サービスをデプロイします。または、別の OpenShift プロジェクトにサービスをデプロイします。
次の例に示すように、サービスが存在するデータサイエンスプロジェクトで、アプリケーション Pod への Ingress トラフィックを受け入れる ネットワークポリシー を追加します。
apiVersion: networking.k8s.io/v1 kind: NetworkPolicy metadata: name: allow-ingress-to-myapp spec: podSelector: matchLabels: app: myapp ingress: - {}
RHOAIENG-2228 - 間隔が 15 秒に設定されている場合、パフォーマンスメトリクスグラフが絶えず変化する
モデルメトリクス画面の Endpoint performance タブで、Refresh interval を 15 秒に、Time range を 1 時間に設定すると、グラフの結果は連続的に変化します。
- 回避策
- なし。
RHOAIENG-2183 - エンドポイントのパフォーマンスグラフに間違ったラベルが表示される場合がある
モデルメトリクス画面の Endpoint performance タブで、グラフツールチップに誤ったラベルが表示される場合があります。
- 回避策
- なし。
RHOAIENG-1919 - Model Serving ページが、デプロイメント直後にモデルルート URL の取得または報告に失敗する
OpenShift AI ダッシュボードからモデルをデプロイすると、システムは次の警告メッセージを表示し、モデルの Status 列には OK または緑色のチェックマークが付き、成功したことを示します。
Failed to get endpoint for this deployed model. routes.rout.openshift.io"<model_name>" not found
- 回避策
- ブラウザーページを更新します。
RHOAIENG-404 - OpenShift AI のダッシュボードで、Enabled ページではなく No Components Found というページがランダムに表示される
Red Hat OpenShift AI ダッシュボードにアクセスすると、No Components Found というページが表示される場合があります。
- 回避策
- ブラウザーのページを更新します。
RHOAIENG-234 - 安全でないクラスターの VSCode で .ipynb ファイルを表示できない
安全でないクラスター内の Google Chrome で code-server ノートブックイメージを使用すると、.ipynb ファイルを表示できません。
- 回避策
- 別のブラウザーを使用してください。
RHOAIENG-1128 - ワークベンチに接続されていない永続ボリューム (PV) のサイズを増やそうとすると、不明確なエラーメッセージが表示される
ワークベンチに接続されていない永続ボリューム (PV) のサイズを増やそうとすると、不明確なエラーメッセージが表示されます。
- 回避策
- サイズを増やす前に、PV がワークベンチに接続されていることを確認してください。
RHOAIENG-545 - JupyterLab パイプラインエディターで汎用のデフォルトノードランタイムイメージを指定できない
JupyterLab IDE パイプラインエディターで Elyra パイプラインを編集し、PIPELINE PROPERTIES タブをクリックして、Generic Node Defaults セクションまでスクロールして Runtime Image フィールドを編集した場合、変更は保存されません。
- 回避策
- 必要なランタイムイメージをノードごとに明示的に定義します。NODE PROPERTIES タブをクリックし、Runtime Image フィールドに必要なイメージを指定します。
RHOAIENG-497 - DSCI を削除すると、OpenShift Service Mesh CR がユーザーへの通知なしに削除される
DSCInitialization
リソースを削除すると、OpenShift Service Mesh CR も削除されます。警告メッセージは表示されません。
- 回避策
- なし。
RHOAIENG-282 - 必要なリソースが利用できない場合、ワークロードはディスパッチすべきではない
場合によっては、単一マシンインスタンスに RayCluster を正常にプロビジョニングするために十分なリソースがない場合でも、ワークロードがディスパッチされることがあります。AppWrapper
CRD は Running
状態のままであり、関連する Pod は無期限に Pending
状態になります。
- 回避策
- 追加のリソースをクラスターに追加します。
RHOAIENG-131 - InferenceService が Loaded と報告した後、gRPC エンドポイントが適切に応答しない
多数の InferenceService
インスタンスが生成され、リクエストがダイレクトされると、Service Mesh Control Plane (SMCP) が応答しなくなります。InferenceService
インスタンスのステータスは Loaded
ですが、gRPC エンドポイントへの呼び出しはエラーとともに返されます。
- 回避策
-
ServiceMeshControlPlane
カスタムリソース (CR) を編集して、Istio Egress Pod と Ingress Pod のメモリー制限を増やします。
RHOAIENG-130 - モデルが起動されたばかりの場合の同期の問題
KServe コンテナーのステータスが Ready
の場合、TGIS コンテナーの準備ができていなくてもリクエストは受け入れられます。
- 回避策
- 数秒待って、すべての初期化が完了し、TGIS コンテナーが実際に準備完了であることを確認してから、リクエストの出力を確認します。
RHOAIENG-3115 - モデルが準備完了として表示された後も数秒間クエリーできない
マルチモデルサービングプラットフォームを使用してデプロイされたモデルは、ダッシュボードに Ready と表示されてもクエリーに応答しない場合があります。モデルエンドポイントにクエリーを実行すると、“Application is not available" という応答が表示されることがあります。
- 回避策
- 30 - 40 秒待ってから、ブラウザーでページを更新します。
RHOAIENG-1619 (以前は DATA-SCIENCE-PIPELINES-165 として記録されていた問題) - S3 バケットが書き込み可能でない場合の不適切なエラーメッセージ
データ接続を設定し、S3 バケットが書き込み可能でない場合にパイプラインをアップロードしようとすると、Failed to store pipelines
というエラーメッセージが表示されますが、有用ではありません。
- 回避策
- データ接続の認証情報が正しいこと、および指定したバケットへの書き込みアクセス権があることを確認してください。
RHOAIENG-1207 (以前は ODH-DASHBOARD-1758 として記録されていた問題) - OOTB カスタムサービングランタイムを数回複製するときにエラーが発生する
モデルサービングランタイムを複数回複製すると、複製が失敗し、Serving runtime name "<name>" already exists
というエラーメッセージが表示されます。
- 回避策
-
metadata.name
フィールドを一意の値に変更します。
RHOAIENG-1204 (以前は ODH-DASHBOARD-1771 として記録されていた問題) - パイプラインステップの初期化中の JavaScript エラー
実行が開始されると Run details ページが機能しなくなることがあります。
- 回避策
- ページを更新します。
RHOAIENG-1203 (以前は ODH-DASHBOARD-1781 として記録されていた問題) - 開始済み実行ステータスのツールチップが表示されない
データサイエンスパイプラインの実行では、表示されるステータスアイコンのツールチップテキストが表示されないことがあります。
- 回避策
- 詳細は、Pipeline の Run details ページを表示し、実行出力を確認します。
RHOAIENG-1201 (以前は ODH-DASHBOARD-1908 として記録されていた問題) - 空の環境変数でワークベンチを作成できない
ワークベンチを作成するときに、Add variable をクリックしてもリストから環境変数のタイプを選択しないと、ワークベンチを作成できません。このフィールドは必須としてマークされておらず、エラーメッセージも表示されません。
- 回避策
- なし。
RHOAIENG-582 (以前は ODH-DASHBOARD-1335 として記録されていた問題) - Edit 権限の名前を Contributor に変更する
Edit という用語は正確ではありません。
- ほとんど のリソースで、Edit 権限を持つユーザーは、リソースを編集できるだけでなく、リソースを作成および削除することもできます。
- Edit 権限を持つユーザーは、プロジェクトを編集できません。
Contributor という用語は、この権限によって付与されるアクションをより正確に表します。
- 回避策
- なし。
RHOAIENG-432 (以前は RHODS-12928 として記録されていた問題) - サポートされていない文字を使用すると、複数のダッシュを含む Kubernetes リソース名が生成される場合がある
リソースを作成し、サポートされていない文字を名前として指定すると、各スペースがダッシュに置き換えられ、他のサポートされていない文字が削除されるため、リソース名が無効になる可能性があります。
- 回避策
- なし。
RHOAIENG-226 (以前は RHODS-12432 として記録されていた問題) - notebook-culler ConfigMap を削除すると、ダッシュボードに Permission Denied と表示される
redhat-ods-applications
namespace で notebook-controller-culler-config
ConfigMap を削除すると、OpenShift AI ダッシュボードの Cluster Settings ページへの変更を保存できなくなります。保存操作は、HTTP request has failed
というエラーで失敗します。
- 回避策
cluster-admin
権限を持つユーザーとして以下の手順を実行します。-
oc
クライアントを使用して、クラスターにログインします。 次のコマンドを入力して、
redhat-ods-applications
アプリケーション namespace のOdhDashboardConfig
カスタムリソースを更新します。$ oc patch OdhDashboardConfig odh-dashboard-config -n redhat-ods-applications --type=merge -p '{"spec": {"dashboardConfig": {"notebookController.enabled": true}}}'
-
RHOAIENG-133 - ノートブックの再起動後、既存のワークベンチが Elyra パイプラインを実行できない
Elyra JupyterLab 拡張機能を使用して JupyterLab 内でデータサイエンスパイプラインを作成および実行し、ワークベンチを作成してワークベンチ内でノートブックイメージを指定した 後に パイプラインサーバーを設定すると、ノートブックを再起動した後でもパイプラインを実行できません。
- 回避策
- 実行中のノートブックを停止します。
- ワークベンチを編集して小さな変更を加えます。たとえば、新しいダミー環境変数を追加したり、既存の不要な環境変数を削除したりします。変更を保存します。
- ノートブックを再起動します。
- JupyterLab の左側のサイドバーで、Runtimes をクリックします。
- デフォルトのランタイムが選択されていることを確認します。
RHOAIENG-11 - 個別にインストールされた CodeFlare Operator のインスタンスはサポートされていない
Red Hat OpenShift AI では、CodeFlare Operator はベース製品に含まれており、別個の Operator には含まれていません。Red Hat またはコミュニティーから個別にインストールされた CodeFlare Operator のインスタンスはサポートされていません。
- 回避策
- インストールされている CodeFlare Operators をすべて削除し、Red Hat OpenShift AI をインストールして設定します。Red Hat ナレッジベースソリューションの How to migrate from a separately installed CodeFlare Operator in your data science cluster の説明に従ってください。
RHODS-12798 - Pod が "unable to init seccomp" エラーで失敗する
seccomp
メモリーリークを引き起こす既知のカーネルバグが原因で、Pod は Running
のステータスではなく CreateContainerError
ステータスまたは Pending
ステータスで失敗します。Pod が失敗した namespace でイベントをチェックするか、oc describe pod
コマンドを実行すると、以下のエラーが表示されます。
runc create failed: unable to start container process: unable to init seccomp: error loading seccomp filter into kernel: error loading seccomp filter: errno 524
- 回避策
-
Red Hat ナレッジベースのソリューション記事 Pods failing with error loading seccomp filter into kernel: errno 524 in OpenShift 4 の説明に従って、
net.core.bpf_jit_limit
の値を増やします。
KUBEFLOW-177 - OAuth-proxy で転送されないアプリケーションのベアラートークン
アプリケーションの内部認証メカニズムがベアラートークンに基づいている場合、アプリケーションをカスタムワークベンチイメージとして使用できません。OAuth プロキシー設定によりヘッダーからベアラートークンが削除されるため、アプリケーションは適切に動作できなくなります。
- 回避策
- なし。
RHOAIENG-5646 (以前は NOTEBOOKS-218 として文書化されていました) - Elyra パイプラインエディターから保存されたデータサイエンスパイプラインが互換性のないランタイムを参照している
OpenShift AI バージョン 1.31 以前で、Elyra パイプラインエディターに .pipeline
形式でパイプラインを保存すると、パイプラインは OpenShift AI バージョン 1.32 以降と互換性のないランタイムを参照します。
その結果、OpenShift AI をバージョン 1.32 以降にアップグレードした後、パイプラインは実行に失敗します。
- 回避策
- OpenShift AI バージョン 1.32 以降にアップグレードした後、関連するランタイムイメージを再度選択します。
NOTEBOOKS-210 - Jupyter でノートブックを PDF ファイルとしてエクスポートできない
Jupyter でノートブックを PDF ファイルとしてエクスポートすると、エラーが発生してエクスポートプロセスが失敗します。
- 回避策
- なし。
RHOAIENG-1210 (以前は ODH-DASHBOARD-1699 として記録されていた問題) - すべての設定変更に対してワークベンチが自動的に再起動しない
設定の変更を加えるとワークベンチが再起動されることを示す警告メッセージが、ワークベンチの設定の編集時に表示されます。次の場合、ワークベンチは自動的に再起動しないため、この警告は誤解を招きます。
- 名前を編集する
- 説明を編集する
- 既存の環境変数のキーおよび値を編集、追加、または削除する
- 回避策
- ワークベンチを手動で再起動します。
RHOAIENG-1208 (以前は ODH-DASHBOARD-1741 として記録されていた問題) - 名前が数字で始まるワークベンチを作成できない
名前が数字で始まるワークベンチを作成しようとすると、ワークベンチは起動しません。
- 回避策
- ワークベンチを削除し、文字で始まる名前を付けて新しいワークベンチを作成します。
RHOAIENG-1205 (以前は RHODS-11791 として記録されていた問題) - アップグレード後に使用状況データの収集が有効になる
以前に Allow collection of usage data
オプションの選択を解除していた (つまり、無効にしていた) 場合、OpenShift AI をアップグレードすると、このオプションが選択されます (つまり、有効になります)。
- 回避策
Allow collection of usage data
オプションを手動でリセットします。これを行うには、次のアクションを実行します。OpenShift AI ダッシュボードの左側のメニューで、Settings
Cluster settings をクリックします。 Cluster Settings ページが開きます。
-
Usage data collection セクションで、
Allow collection of usage data
の選択を解除します。 - Save changes をクリックします。
KUBEFLOW-157: OpenShift AI ダッシュボードからすでにログアウトしている場合、JupyterLab からのログアウトが機能しない
JupyterLab からログアウトする前に OpenShift AI ダッシュボードからログアウトすると、JupyterLab から正常にログアウトされません。たとえば、Jupyter ノートブックの URL がわかっている場合は、これをブラウザーで再度開くことができます。
- 回避策
- OpenShift AI ダッシュボードからログアウトする前に、JupyterLab からログアウトします。
RHODS-9789: データベース名またはユーザー名フィールドにダッシュがあるカスタムデータベースが含まれる場合はパイプラインサーバーは起動に失敗する
カスタムデータベースを使用するパイプラインサーバーを作成する場合、dbname フィールドまたは username フィールドに設定した値にダッシュが含まれていると、パイプラインサーバーは起動に失敗します。
- 回避策
- パイプラインサーバーを編集して、対象のフィールドからダッシュを削除します。
RHOAIENG-580 (以前は RHODS-9412 として記録されていた問題) - 編集権限を持つユーザーがワークベンチを作成した場合、Elyra パイプラインが実行に失敗する
プロジェクトの編集権限を付与されたユーザーがプロジェクトワークベンチを作成すると、そのユーザーには次の動作が表示されます。
-
ワークベンチの作成プロセス中に、Kubernetes ロールバインディングの作成に関連する
Error creating workbench
メッセージがユーザーに表示されます。 - 前述のエラーメッセージにもかかわらず、OpenShift AI は引き続きワークベンチを作成します。ただし、このエラーメッセージは、ユーザーがワークベンチを使用して Elyra データサイエンスパイプラインを実行できないことを意味します。
ユーザーがワークベンチを使用して Elyra パイプラインを実行しようとすると、Jupyter は初期化の失敗を説明する
Error making request
メッセージを表示します。- 回避策
- 管理者権限を持つユーザー (プロジェクト所有者など) は、編集権限を持つユーザーに代わってワークベンチを作成する必要があります。その後、そのユーザーはワークベンチを使用して Elyra パイプラインを実行できるようになります。
RHOAIENG-583 (以前は RHODS-8921 および RHODS-6373 として記録されていた問題) - 累積文字数上限を超えると、パイプラインサーバーの作成やワークベンチの起動ができない
データサイエンスプロジェクト名とパイプラインサーバー名の累積文字数上限である 62 文字を超えると、パイプラインサーバーを正常に作成できません。同様に、データサイエンスプロジェクト名とワークベンチ名の累積文字数上限である 62 文字を超えると、ワークベンチが起動しません。
- 回避策
- データサイエンスプロジェクトの名前を 30 文字を超えないように変更します。
RHODS-7718: ダッシュボード権限のないユーザーは、実行中のノートブックとワークベンチを無期限に使用し続けることができる
Red Hat OpenShift AI 管理者がユーザーの権限を取り消しても、引き続きユーザーは実行中のノートブックとワークベンチを無期限で使用できます。
- 回避策
- OpenShift AI 管理者がユーザーの権限を取り消す場合、管理者はそのユーザーに対して実行中のノートブックとワークベンチも停止する必要があります。
RHOAIENG-1157 (以前は RHODS-6955 として記録されていた問題) - ワークベンチを編集しようとするとエラーが発生することがある
ワークベンチの編集時に、以下のようなエラーが発生する可能性があります。
Error creating workbench Operation cannot be fulfilled on notebooks.kubeflow.org "workbench-name": the object has been modified; please apply your changes to the latest version and try again
- 回避策
- なし。
RHOAIENG-1132 (以前は RHODS-6383 として記録されていた問題) - ワークベンチの作成プロセス中に必要なときに ImagePullBackOff エラーメッセージが表示されない
コンテナーレジストリーからコンテナーイメージをプルする際に、Pod で問題が発生する可能性があります。エラーが発生した場合、関連する Pod は ImagePullBackOff
状態になります。ワークベンチの作成プロセス中に ImagePullBackOff
エラーが発生した場合は、適切なメッセージが表示されません。
- 回避策
-
イベントログで
ImagePullBackOff
エラーの詳細を確認します。これを行うには、ワークベンチの起動時にワークベンチのステータスをクリックします。
RHOAIENG-1152 (以前は RHODS-6356 として記録されていた問題) - ダッシュボードにログインしたことがないユーザーのノートブック作成プロセスが失敗する
ダッシュボードのノートブック Administration ページには、OpenShift のユーザーグループと管理者グループに属するユーザーが表示されます。ただし、管理者がダッシュボードにログインしたことのないユーザーに代わってノートブックサーバーを起動しようとすると、サーバーの作成プロセスが失敗し、次のエラーメッセージが表示されます。
Request invalid against a username that does not exist.
- 回避策
- 該当するユーザーにダッシュボードへのログインを依頼します。
RHODS-5763: ノートブックの選択時に誤ったパッケージバージョンが表示される
Start a notebook server ページには、Anaconda ノートブックイメージの正しくないバージョン番号が表示されます。
- 回避策
- なし。
RHODS-5543: NVIDIA GPU Operator を使用すると、Node Autoscaler によって必要以上のノードが作成される
使用可能なリソースが不十分なために Pod をスケジュールできないと、Node Autoscaler は新しいノードを作成します。新しく作成されたノードが関連する GPU ワークロードを受け取るまで、遅延があります。したがって、Pod をスケジュールすることはできず、Node Autoscaler は、ノードの 1 つが GPU ワークロードを受け取る準備ができるまで、追加の新しいノードを継続的に作成します。この問題の詳細は、Red Hat ナレッジベースのソリューション記事 NVIDIA GPU Operator を使用すると、Node Autoscaler によって必要以上のノードが作成される を参照してください。
- 回避策
-
machineset.spec.template.spec.metadata
でcluster-api/accelerator
ラベルを適用します。これにより、オートスケーラーは、GPU ドライバーがデプロイされるまで、これらのノードを準備ができていないと見なします。
RHOAIENG-1149 (以前に文書化された RHODS-5216) - アプリケーション起動メニューに OpenShift Cluster Manager へのリンクが誤って表示される
Red Hat OpenShift AI は、アプリケーションランチャーメニューから OpenShift Cluster Manager へのリンクを誤って表示します。このリンクをクリックすると、URL が無効なため、"Page Not Found" エラーが発生します。
- 回避策
- なし。
RHOAIENG-1137 (以前は RHODS-5251 として記録されていた問題) - ノートブックサーバー管理ページに権限へのアクセスを失ったユーザーが表示される
以前に Jupyter でノートブックサーバーを起動したユーザーがその権限を失った場合 (たとえば、OpenShift AI 管理者がユーザーのグループ設定を変更したり、許可されたグループからユーザーを削除したりした場合)、管理者は引き続きサーバーの Administration ページでユーザーのノートブックサーバーを表示します。その結果、管理者は、権限が取り消されたユーザーに属するノートブックサーバーを再起動できるようになります。
- 回避策
- なし。
RHODS-4799: Tensorboard を表示するには手動の手順が必要
TensorFlow または PyTorch ノートブックイメージを使用しており、TensorBoard を使用してデータを表示する場合に、ノートブック環境に環境変数を追加して、独自のコードで使用する環境変数をインポートするといった手作業の手順が必要です。
- 回避策
ノートブックサーバーを起動するときに、次のコードを使用して TENSORBOARD_PROXY_URL 環境変数の値を設定し、OpenShift AI ユーザー ID を使用します。
import os os.environ["TENSORBOARD_PROXY_URL"]= os.environ["NB_PREFIX"]+"/proxy/6006/"
RHODS-4718: Intel® oneAPI AI Analytics Toolkits のクイックスタートが、存在しないサンプルノートブックを参照している
ダッシュボードの Resources ページにある Intel® oneAPI AI アナリティクスツールキットクイックスタートでは、手順の一部としてサンプルノートブックをロードする必要がありますが、関連するリポジトリーに存在しないノートブックを参照しています。
- 回避策
- なし。
RHODS-4627 - Anaconda Professional Edition のライセンスを検証する CronJob が一時停止し、毎日実行されない
Anaconda Professional Edition のライセンスを検証する CronJob が、OpenShift AI Operator によって自動的に一時停止されます。その結果、CronJob がスケジュールどおりに毎日実行されなくなります。さらに、Anaconda Professional Edition のライセンスの有効期限が切れると、Anaconda Professional Edition は OpenShift AI ダッシュボードで無効と示されません。
- 回避策
- なし。
RHOAIENG-1141 (以前は RHODS-4502 として記録されていた問題) - ダッシュボード上の NVIDIA GPU Operator タイルに不必要にボタンが表示される
NVIDIA GPU Operator がインストールされると、Jupyter で GPU が自動的に使用可能になります。したがって、Explore ページの Nvidia GPU Operator タイルにある Enable ボタンは不要です。さらに、Enable ボタンをクリックすると、Operator がインストールされていない場合でも、NVIDIA GPU Operator タイルが Enabled ページに移動します。
- 回避策
- なし。
RHOAIENG-1135 (以前は RHODS-3985 として記録されていた問題) - ISV Operator のアンインストール後、ダッシュボードに Enabled ページのコンテンツが表示されない
ISV Operator をアンインストールすると、ダッシュボードの Enabled ページにコンテンツが表示されません。代わりに、以下のエラーが表示されます。
Error loading components HTTP request failed
- 回避策
- 30 - 40 秒待ってから、ブラウザーでページを更新します。
RHODS-3984: ノートブックの選択時に誤ったパッケージバージョンが表示される
OpenShift AI インターフェイスで、Start a notebook server ページに、oneAPI AI Analytics Toolkit ノートブックイメージに含まれる JupyterLab パッケージおよび Notebook パッケージの誤ったバージョン番号が表示されます。このページには、このイメージが使用する Python バージョンの誤った値が表示される場合もあります。
- 回避策
-
oneAPI AI Analytics Toolkit ノートブックサーバーを起動するときに、ノートブックセルで
!pip list
コマンドを実行すると、ノートブックサーバーにインストールされている Python パッケージと、所有しているパッケージのバージョンを確認できます。
RHODS-2956: ノートブックインスタンスの作成時にエラーが発生する可能性がある
Jupyter でノートブックインスタンスを作成すると、Directory not found
エラーが断続的に表示されます。このエラーメッセージは、Dismiss をクリックすると無視できます。
- 回避策
- なし。
RHOAING-1147 (以前は RHODS-2881 として記録されていた問題) - ダッシュボード上のアクションが明確に表示されない
無効になったアプリケーションのライセンスを再検証し、無効になったアプリケーションのタイルを削除するダッシュボードアクションは、ユーザーには明確に表示されません。これらのアクションは、ユーザーがアプリケーションタイルの Disabled
ラベルをクリックすると表示されます。その結果、意図したワークフローがユーザーにとって明確でない場合があります。
- 回避策
- なし。
RHOAIENG-1134 (以前は RHODS-2879 として記録されていた問題) - ライセンス再検証アクションが不必要に表示される
無効になったアプリケーションのライセンスを再検証するダッシュボードアクションは、ライセンス検証またはアクティベーションシステムがないアプリケーションでは不要に表示されます。さらに、ユーザーが再検証できないライセンスを再検証しようとしても、アクションを完了できない理由を示すフィードバックが表示されません。
- 回避策
- なし。
RHOAIENG-2305 (以前は RHODS-2650 として記録されていた問題) - Pachyderm のデプロイ中にエラーが発生することがある
Pachyderm Operator のインスタンスを作成すると、Webhook エラーが断続的に表示され、作成プロセスを正常に開始できなくなります。Webhook エラーは、Pachyderm Operator がヘルスチェックに失敗して再起動したか、Operator プロセスがコンテナーに割り当てられたメモリー制限を超えてメモリー不足 (OOM) キルをトリガーしたことを示しています。
- 回避策
- エラーが表示されなくなるまで、Pachyderm インスタンスの作成プロセスを繰り返します。
RHODS-2096 - IBM Watson Studio は OpenShift AI で利用できない
IBM Watson Studio は、OpenShift AI が OpenShift Dedicated 4.9 以降にインストールされている場合は使用できません。これは、OpenShift Dedicated のこれらのバージョンと互換性がないためです。
- 回避策
- OpenShift Dedicated 4.9 以降で Watson Studio を手動で設定する方法は、Marketplace サポート にお問い合わせください。