第3章 パイプライン実行の管理

パイプラインの実行は、データサイエンスパイプラインの 1 回の実行です。データサイエンティストは、OpenShift AI を使用して、データサイエンスパイプラインの実行を定義、管理、追跡できます。以前に実行、スケジュール、アーカイブされた実行の記録を表示するには、まず OpenShift AI インターフェイスの Experiments Experiments and runs ページから実験を選択する必要があります。実験を選択すると、Runs ページからそのすべてのパイプライン実行にアクセスできます。

パイプライン実験を使用すると、移植性と再現性のためにパイプライン実行の使用を最適化できます。実験を使用すると、パイプラインの実行を論理的にグループ化し、パイプラインのさまざまな設定を試すことができます。パイプライン実行を複製し、再現またはスケーリングすることもできます。または、実行記録を保持する必要があるが不要になった場合は、アーカイブできます。保持する必要がなくなったアーカイブ済みの実行は、削除するか、以前の状態に復元できます。

実行は、作成後すぐに 1 回実行したり、定期的に実行したりできます。定期的な実行は、すべてのパラメーター値を含むパイプラインのコピーと実行トリガーで構成されます。実行トリガーは、定期的な実行のタイミングを示します。次の実行トリガーを定義できます。

同じ実行の最大 10 個のインスタンスを同時に実行するように設定することもできます。OpenShift AI ユーザーインターフェイスの実行詳細ページから実行の進行状況を追跡できます。ここから、実行のグラフと出力アーティファクトを表示できます。

パイプライン実行の状態は、次のいずれかになります。

キャッチアップ実行を使用すると、パイプライン実行が一時停止しても永久的にスケジュールに対して遅れることがないようにできます。たとえば、一時停止された定期実行を再度有効にすると、実行スケジューラーは実行されなかった各実行間隔のバックフィルを行います。キャッチアップ実行を無効にした場合に、実行準備が完了しているスケジュール済みの実行間隔があれば、実行スケジューラーは最新の実行間隔の実行のみをスケジュールします。キャッチアップ実行は、デフォルトで有効になっています。ただし、パイプラインが内部でバックフィルを処理する場合、バックフィルの重複を回避するために、Red Hat はキャッチアップ実行を無効にすることを推奨しています。

パイプラインの実行が完了すると、実行されたタスクの詳細が Executions ページに表示され、そのアーティファクトが Artifacts ページに表示されます。Executions ページでは、各タスクの実行ステータスが表示され、タスクが正常に完了したかどうかを確認できます。リスト内の実行名をクリックすると、実行された各タスクの詳細情報を表示することもできます。Artifacts ページから、各パイプラインアーティファクトの名前、一意の ID、タイプ、URI などの詳細を表示できます。パイプラインアーティファクトは、パイプライン実行のパフォーマンスを評価し、パイプラインコンポーネントを簡単に理解できるようにします。パイプラインアーティファクトは、プレーンテキストデータから詳細なインタラクティブなデータ視覚化まで多岐にわたります。

リスト内のアーティファクト名をクリックすると、元の実行など、各アーティファクトの詳細情報を表示できます。リスト内のアクティブなアーティファクト URI リンクをクリックすると、S3 互換オブジェクトストレージに保存されているアーティファクトのコンテンツを表示またはダウンロードすることもできます。

ブラウザーがアーティファクトコンテンツを表示できる場合 (たとえば、アーティファクトがプレーンテキスト、HTML、またはマークダウンの場合)、コンテンツはダウンロードされず、新しいブラウザータブに自動的に表示されます。ブラウザーがアーティファクトコンテンツを表示できない場合 (たとえば、アーティファクトがモデルである場合)、代わりにアーティファクトが自動的にダウンロードされます。ブラウザータブに表示されているアーティファクトをダウンロードするには、コンテンツを右クリックし、Save as をクリックします。

アクティブなパイプライン実行の各ステップのログを確認して分析できます。ログビューアーを使用すると、特定のログメッセージを検索し、各ステップのログを表示し、ステップログをローカルマシンにダウンロードできます。