第2章 モデルの管理と監視


クラスター管理者は、監視設定、複数の GPU ノードへのモデルのデプロイ、リアルタイムメトリクスを視覚化する Grafana ダッシュボードの設定などのタスクを実行できます。

2.1. KServe のタイムアウトの設定

大規模なモデルをデプロイする場合、または KServe でノードの自動スケーリングを使用する場合、モデルがデプロイされる前に操作がタイムアウトすることがあります。KNative Serving が設定するデフォルトの progress-deadline が 10 分であるためです。

KNative Serving を使用した Pod のデプロイに 10 分以上かかる場合、Pod が自動的に失敗とマークされる可能性があります。これは、S3 互換のオブジェクトストレージからプルするのに 10 分以上かかる大規模なモデルをデプロイしている場合、またはノードの自動スケーリングを使用して GPU ノードの消費を削減している場合に発生する可能性があります。

この問題を解決するには、アプリケーションに合わせて KServe の InferenceService でカスタムの progress-deadline を設定できます。

前提条件

  • OpenShift クラスターの namespace 編集アクセス権がある。

手順

  1. OpenShift コンソールにクラスター管理者としてログインします。
  2. モデルをデプロイしたプロジェクトを選択します。
  3. Administrator パースペクティブで、Home Search をクリックします。
  4. Resources ドロップダウンメニューから、InferenceService を検索します。
  5. spec.predictor.annotations の下の serving.knative.dev/progress-deadline を新しいタイムアウトに変更します。

    apiVersion: serving.kserve.io/v1alpha1
    kind: InferenceService
    metadata:
      name: my-inference-service
    spec:
      predictor:
        annotations:
          serving.knative.dev/progress-deadline: 30m
    Copy to Clipboard Toggle word wrap
    注記

    必ず spec.predictor.annotations レベルで progress-deadline を設定して、KServe の InferenceServiceprogress-deadline を KNative Service オブジェクトにコピーできるようにしてください。

Red Hat logoGithubredditYoutubeTwitter

詳細情報

試用、購入および販売

コミュニティー

Red Hat ドキュメントについて

Red Hat をお使いのお客様が、信頼できるコンテンツが含まれている製品やサービスを活用することで、イノベーションを行い、目標を達成できるようにします。 最新の更新を見る.

多様性を受け入れるオープンソースの強化

Red Hat では、コード、ドキュメント、Web プロパティーにおける配慮に欠ける用語の置き換えに取り組んでいます。このような変更は、段階的に実施される予定です。詳細情報: Red Hat ブログ.

会社概要

Red Hat は、企業がコアとなるデータセンターからネットワークエッジに至るまで、各種プラットフォームや環境全体で作業を簡素化できるように、強化されたソリューションを提供しています。

Theme

© 2026 Red Hat
トップに戻る