1.8. BYO Knowledge 툴 정보
OpenShift Lightspeed 서비스는 대용량 언어 모델(LLM)을 사용하여 질문에 대한 응답을 생성합니다. BYO Knowledge 툴을 사용하여 검색 대상 생성(RAG) 데이터베이스를 만들어 Cryostat에 사용할 수 있는 지식을 향상시킬 수 있습니다.
RAG 데이터베이스를 생성할 때 환경에 맞게 OpenShift Lightspeed 서비스를 사용자 지정합니다. 예를 들어 네트워크 관리자는 OpenShift Container Platform 클러스터를 프로비저닝하는 데 사용되는 표준 운영 절차(SOP)를 개발할 수 있습니다. 그런 다음 네트워크 관리자는 BYO Knowledge 도구를 사용하여 SOP의 정보를 포함하여 Cryostat에 제공된 지식을 향상시킬 수 있습니다.
Cryostat에 대한 자체 지식을 제공하려면 다음 단계를 완료합니다.
- 마크다운 형식으로 사용자 지정 콘텐츠를 생성합니다.
- BYO Knowledge 툴을 사용하여 콘텐츠를 컨테이너 이미지로 패키징합니다.
-
컨테이너 이미지를
quay.io와 같은 이미지 레지스트리로 내보냅니다. -
OLSConfig사용자 지정 리소스 파일을 업데이트하여 이미지 레지스트리로 내보낸 이미지를 나열합니다. OpenShift Lightspeed 가상 도우미에 액세스하고 사용자가 사용할 수 있는 사용자 지정 지식과 관련된 질문을 제출합니다.
참고BYO Knowledge 도구를 사용하면 Cryostat에서 사용할 수 있는 문서가 Cryostat 공급자로 전송됩니다.
1.8.1. 문서 제목 및 URL 정보 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Lightspeed는 서비스가 응답을 생성하는 데 사용하는 문서의 제목과 URL을 표시할 수 있습니다. RG(검색된 생성) 데이터베이스에서 제목 및 URL은 메타데이터로 문서와 함께 제공됩니다. BYO Knowledge 툴은 툴에서 처리하는 마크다운 파일에 있는 경우 YAML 프런트마터에서 제목 및 url 속성을 가져올 수 있습니다.
마크다운 파일에 제목 및 url 속성이 있는 프런트마터가 없으면 첫 번째 최상위 마크다운 제목(예 : # 계층 소개 )이 제목이 되고 파일 경로가 URL이 됩니다.
1.8.2. Cryostat에 대한 사용자 정의 지식 제공 링크 복사링크가 클립보드에 복사되었습니다!
원격 이미지 레지스트리에 있는 컨테이너 이미지에 대한 액세스를 제공하여 대용량 언어 모델(LLM)에서 사용할 수 있는 정보를 사용자 지정합니다. 이 절차의 예제에서는 quay.io 를 원격 컨테이너 이미지 레지스트리로 사용하고 사용자 지정 이미지의 경로는 quay.io/<username>/my-byok-image:latest 입니다.
BYO Knowledge 도구는 기술 프리뷰 기능 전용입니다. 기술 프리뷰 기능은 Red Hat 프로덕션 서비스 수준 계약(SLA)에서 지원되지 않으며 기능적으로 완전하지 않을 수 있습니다. 따라서 프로덕션 환경에서 사용하는 것은 권장하지 않습니다. 이러한 기능을 사용하면 향후 제품 기능을 조기에 이용할 수 있어 개발 과정에서 고객이 기능을 테스트하고 피드백을 제공할 수 있습니다.
Red Hat 기술 프리뷰 기능의 지원 범위에 대한 자세한 내용은 기술 프리뷰 기능 지원 범위를 참조하십시오.
사전 요구 사항
-
cluster-admin역할의 사용자와 같이 클러스터 범위 CR(사용자 정의 리소스) 파일을 생성할 수 있는 권한이 있는 사용자 계정으로 OpenShift Container Platform 웹 콘솔에 로그인했습니다. - OpenShift Lightspeed 서비스와 함께 사용할 수 있는 Cryostat 공급자를 사용할 수 있습니다.
- OpenShift Lightspeed Operator가 설치되어 있습니다.
-
추가하려는 사용자 지정 정보는
.md확장이 포함된 마크다운 파일의 컬렉션으로 존재합니다. 다른 파일 형식은 지원되지 않습니다. -
Podman을 사용하여
registry.redhat.io에 로그인했습니다. -
quay.io와 같은 컨테이너 이미지 레지스트리에 대한 계정이 있습니다.
프로세스
검색 대상 생성(RAG) 데이터베이스에 대한 마크다운 파일이 있는 디렉터리의 위치와 다음 명령을 실행하여 BYO Knowledge 툴에서 생성하는 이미지의 경로를 지정합니다.
podman run -it --rm --device=/dev/fuse \ -v $XDG_RUNTIME_DIR/containers/auth.json:/run/user/0/containers/auth.json:Z \ -v <dir_tree_with_markdown_files>:/markdown:Z \ -v <dir_for_image_tar>:/output:Z \ registry.redhat.io/openshift-lightspeed-tech-preview/lightspeed-rag-tool-rhel9:latest
$ podman run -it --rm --device=/dev/fuse \ -v $XDG_RUNTIME_DIR/containers/auth.json:/run/user/0/containers/auth.json:Z \ -v <dir_tree_with_markdown_files>:/markdown:Z \ -v <dir_for_image_tar>:/output:Z \ registry.redhat.io/openshift-lightspeed-tech-preview/lightspeed-rag-tool-rhel9:latestCopy to Clipboard Copied! Toggle word wrap Toggle overflow 참고툴에서 생성하는 컨테이너 이미지에는 사용자 지정 RAG 데이터베이스가 포함되어 있습니다. RAG 데이터베이스는 Cryostat에 대한 추가 정보를 제공합니다.
다음 명령을 실행하여 BYO Knowledge 툴에서 생성한 컨테이너 이미지를 로드합니다.
podman load < <directory_for_image_tar>/<my-byok-image.tar>
$ podman load < <directory_for_image_tar>/<my-byok-image.tar>Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 로컬 컴퓨터에 있는 podman 이미지를 표시합니다.
podman images
$ podman imagesCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
REPOSITORY TAG IMAGE ID CREATED SIZE localhost/my-byok-image latest be7d1770bf10 1 minute ago 2.37 GB ...
REPOSITORY TAG IMAGE ID CREATED SIZE localhost/my-byok-image latest be7d1770bf10 1 minute ago 2.37 GB ...Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 이미지를 컨테이너 이미지 레지스트리로 내보낼 수 있도록 이름과 대상을 사용하여 로컬 이미지에 태그를 지정합니다.
podman tag localhost/my-byok-image:latest quay.io/<username>/my-byok-image:latest
$ podman tag localhost/my-byok-image:latest quay.io/<username>/my-byok-image:latestCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 로컬 컨테이너 이미지를 컨테이너 이미지 레지스트리로 내보냅니다.
podman push quay.io/<username>/my-byok-image:latest
$ podman push quay.io/<username>/my-byok-image:latestCopy to Clipboard Copied! Toggle word wrap Toggle overflow OLSconfigCR을 수정하여 새로 생성된 RAG 데이터베이스를 기존 데이터베이스와 함께 배포합니다.-
OpenShift Container Platform 웹 콘솔에서 Operator
설치된 Operator를 클릭합니다. - 화면 상단에 있는 프로젝트 드롭다운에서 모든 프로젝트를 선택합니다.
- OpenShift Lightspeed Operator 를 클릭합니다.
-
OLSConfig 를 클릭한 다음 목록에서
클러스터구성 인스턴스를 클릭합니다. - YAML 탭을 클릭합니다.
spec.ols.ragyaml 코드를 삽입합니다.OLSconfigCR 파일의 예Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 여기서
image는 OpenShift Lightspeed Operator가 사용자 정의 콘텐츠에 액세스할 수 있도록 이미지 레지스트리로 푸시된 이미지의 태그를 지정합니다. OpenShift Lightspeed Operator는 사용자가 생성하는 여러 RAG 데이터베이스에서 작업할 수 있습니다.
-
OpenShift Container Platform 웹 콘솔에서 Operator
- 저장을 클릭합니다.
검증
OpenShift Lightspeed 가상 도우미에 액세스하고 사용자가 제공한 사용자 정의 콘텐츠와 관련된 질문을 제출합니다.
OpenShift Lightspeed 가상 도우미는 사용자 정의 콘텐츠를 기반으로 응답을 생성합니다.
1.8.3. OpenShift Container Platform 문서 RAG 데이터베이스 비활성화 링크 복사링크가 클립보드에 복사되었습니다!
OLSConfig CR(사용자 정의 리소스) 파일을 수정하여 OpenShift Container Platform 문서가 포함된 내장된 Retrieval-Augmented Generation(RAG) 데이터베이스를 비활성화합니다. 그런 다음 OpenShift Lightspeed에서 사용하는 유일한 RAG 데이터베이스는 BYO Knowledge 기능을 사용하는 것입니다.
사전 요구 사항
-
cluster-admin역할의 사용자와 같이 클러스터 범위 CR 파일을 생성할 수 있는 권한이 있는 사용자 계정으로 OpenShift Container Platform 웹 콘솔에 로그인되어 있습니다. - OpenShift Lightspeed Operator가 설치되어 있습니다.
- 대규모 언어 모델 공급자를 구성했습니다.
-
OpenShift Lightspeed 서비스를 자동으로 배포하는
OLSConfigCR 파일을 구성했습니다. - "사용자 정의 지식 제공"에 설명된 대로 사용할 콘텐츠가 포함된 RAG 데이터베이스를 생성했습니다.
프로세스
-
OpenShift Container Platform 웹 콘솔에서 Operator
설치된 Operator를 클릭합니다. - 화면 상단에 있는 프로젝트 목록에서 모든 프로젝트를 선택합니다.
- OpenShift Lightspeed Operator 를 클릭합니다.
-
OLSConfig 를 클릭한 다음 목록에서
클러스터구성 인스턴스를 클릭합니다. - YAML 탭을 클릭합니다.
spec.ols.byokRAGOnlyYAML 코드를 삽입합니다.OLSconfigCR 파일의 예Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- OpenShift Lightspeed가 BYO Knowledge 기능을 사용하여 생성한 RAG 데이터베이스만 사용하도록
true를 지정합니다.true인 경우 OpenShift Lightspeed는 OpenShift Container Platform 문서가 포함된 기본 RAG 데이터베이스를 사용하지 않습니다.
- 저장을 클릭합니다.