1.3. 大規模言語モデル (LLM) の要件

Red Hat OpenShift Lightspeed で IBM watsonx を使用するには、IBM Cloud watsonx のアカウントが必要です。詳細は、IBM watsonx as a Service のドキュメント を参照してください。

OpenAI を Red Hat OpenShift Lightspeed で使用するには、OpenAI API プラットフォーム へのアクセス権が必要です。詳細は、OpenAI 開発者プラットフォーム のドキュメントを参照してください。

Red Hat OpenShift Lightspeed で Microsoft Azure を使用するには、Microsoft Azure OpenAI にアクセスする必要があります。詳細は、Azure OpenAI のドキュメント を参照してください。

Red Hat Enterprise Linux AI は OpenAI API と互換性があり、OpenAI プロバイダーと同様の方法で設定されます。

Red Hat Enterprise Linux AI を LLM プロバイダーとして設定できます。

Red Hat Enterprise Linux は OpenShift Lightspeed デプロイメントとは異なる環境にあるため、モデルデプロイメントでは安全な接続を使用したアクセスを許可する必要があります。詳細は、オプション: 保護されたエンドポイントからモデルへのアクセスを許可する を参照してください。

OpenShift Lightspeed バージョン 1.0 以降では、vLLM Server バージョン 0.8.4 以降がサポートされます。Red Hat Enterprise Linux AI を使用して LLM をセルフホストする場合、vLLM Server を推論エンジンとして使用できます。

Red Hat OpenShift AI は OpenAI API と互換性があり、OpenAI プロバイダーとほぼ同じように設定されています。

Virtual Large Language Model (vLLM) ランタイムを使用する Red Hat OpenShift AI シングルモデルサービングプラットフォームに LLM をデプロイする必要があります。モデルデプロイメントが OpenShift Lightspeed デプロイメントとは異なる OpenShift 環境に存在する場合は、モデルデプロイメントをクラスター外部に公開するためのルートを含めます。詳細は、シングルモデルサービングプラットフォームについて を参照してください。

OpenShift Lightspeed バージョン 1.0 以降では、vLLM Server バージョン 0.8.4 以降がサポートされます。Red Hat OpenShift AI を使用して LLM をセルフホストする場合、vLLM Server を推論エンジンとして使用できます。