Red Hat Developer Lightspeed for migration toolkit for applications は、特定の大規模言語モデル (LLM) に依存せず、任意の LLM と統合できます。Red Hat Developer Lightspeed for MTA による大規模言語モデル (LLM) へのアクセスを可能にするには、provider-settings.yaml ファイルに LLM プロバイダー設定を入力する必要があります。
models:openshift-example-model:&activeenvironment:CA_BUNDLE:"<Servers CA Bundle path>"provider:"ChatOpenAI"args:model:"my-model"configuration:baseURL:"https://<serving-name>-<data-science-project-name>.apps.konveyor-ai.example.com/v1"
Copy to ClipboardCopied!Toggle word wrapToggle overflow
注記
OpenShift AI にデプロイされた model を変更する場合は、model 引数と baseURL エンドポイントも変更する必要があります。
Copy to ClipboardCopied!Toggle word wrapToggle overflow
Amazon Bedrock の場合:
AmazonBedrock: &active
environment:
## May have to use if no global `~/.aws/credentials`
AWS_ACCESS_KEY_ID: "" # Required if a global ~/.aws/credentials file is not present
AWS_SECRET_ACCESS_KEY: "" # Required if a global ~/.aws/credentials file is not present
AWS_DEFAULT_REGION: "" # Required
provider: ChatBedrock
args:
model: meta.llama3-70b-instruct-v1:0 # Required
AmazonBedrock:&activeenvironment:## May have to use if no global `~/.aws/credentials`AWS_ACCESS_KEY_ID:""# Required if a global ~/.aws/credentials file is not presentAWS_SECRET_ACCESS_KEY:""# Required if a global ~/.aws/credentials file is not presentAWS_DEFAULT_REGION:""# Requiredprovider: ChatBedrock
args:model: meta.llama3-70b-instruct-v1:0# Required
Copy to ClipboardCopied!Toggle word wrapToggle overflow