1.3. 大規模言語モデル (LLM) の要件
テクノロジープレビューリリースの一部として、OpenShift Lightspeed は次の Software as a Service (SaaS) 大規模言語モデル (LLM) プロバイダーに依存できます。
- OpenAI
- Microsoft Azure OpenAI
- IBM WatsonX
多くの自己ホスト型または自己管理型のモデルサーバーは、OpenAI との API 互換性を主張しています。OpenShift Lightspeed OpenAI プロバイダーは、API 互換のモデルサーバーを指すように設定できます。特に認証関係など、モデルが実際に API との互換性がある場合には、機能する可能性があります。これらの設定は Red Hat がテストしておらず、その使用に関連する問題はテクノロジープレビューサポートの範囲外です。
Red Hat OpenShift AI を使用した OpenShift Lightspeed 設定の場合、独自の LLM プロバイダーをホストする必要があります。
1.3.1. OpenAI について
OpenAI を Red Hat OpenShift Lightspeed で使用するには、OpenAI API プラットフォーム へのアクセス権が必要です。
1.3.2. Azure OpenAI について
Microsoft Azure を Red Hat OpenShift Lightspeed で使用するには、Microsoft Azure OpenAI にアクセスできる必要があります。
1.3.3. WatsonX について
Red Hat OpenShift Lightspeed で IBM WatsonX を使用するには、IBM Cloud の WatsonX のアカウントが必要です。
1.3.4. Red Hat Enterprise Linux AI について
Red Hat Enterprise Linux AI は OpenAI API と互換性があり、OpenAI プロバイダーと同様の方法で設定されます。
Red Hat Enterprise Linux AI を (大規模言語モデル) LLM プロバイダーとして設定できます。
Red Hat Enterprise Linux は OpenShift Lightspeed デプロイメントとは異なる環境にあるため、モデルデプロイメントでは安全な接続を使用したアクセスを許可する必要があります。詳細は、オプション: 保護されたエンドポイントからモデルへのアクセスを許可する を参照してください。
1.3.5. Red Hat OpenShift AI について
Red Hat OpenShift AI は OpenAI API と互換性があり、OpenAI プロバイダーとほぼ同じように設定されています。
仮想大規模言語モデル (vLLM) ランタイムを使用して、Red Hat OpenShift AI の単一のモデル提供プラットフォームにデプロイされた大規模言語モデル (LLM) が必要です。モデルのデプロイメントが OpenShift Lightspeed デプロイメントとは異なる OpenShift 環境にある場合、モデルのデプロイメントにはクラスター外部に公開するためのルートが含まれている必要があります。詳細は、シングルモデルサービングプラットフォームについて を参照してください。
