1.8. BYO Knowledge 툴 정보
OpenShift Lightspeed 서비스는 대용량 언어 모델(LLM)을 사용하여 질문에 대한 응답을 생성합니다. BYO Knowledge 툴을 사용하여 검색 대상 생성(RAG) 데이터베이스를 만들어 Cryostat에 사용할 수 있는 지식을 향상시킬 수 있습니다.
RAG 데이터베이스를 생성할 때 환경에 맞게 OpenShift Lightspeed 서비스를 사용자 지정합니다. 예를 들어 네트워크 관리자는 OpenShift Container Platform 클러스터를 프로비저닝하는 데 사용되는 표준 운영 절차(SOP)를 개발할 수 있습니다. 그런 다음 네트워크 관리자는 BYO Knowledge 도구를 사용하여 SOP의 정보를 포함하여 Cryostat에 제공된 지식을 향상시킬 수 있습니다.
Cryostat에 대한 자체 지식을 제공하려면 다음 단계를 완료합니다.
- 마크다운 형식으로 사용자 지정 콘텐츠를 생성합니다.
- BYO Knowledge 툴을 사용하여 콘텐츠를 컨테이너 이미지로 패키징합니다.
-
컨테이너 이미지를
quay.io
와 같은 이미지 레지스트리로 내보냅니다. -
OLSConfig
사용자 지정 리소스 파일을 업데이트하여 이미지 레지스트리로 내보낸 이미지를 나열합니다. OpenShift Lightspeed 가상 도우미에 액세스하고 사용자가 사용할 수 있는 사용자 지정 지식과 관련된 질문을 제출합니다.
참고BYO Knowledge 도구를 사용하면 Cryostat에서 사용할 수 있는 문서가 Cryostat 공급자로 전송됩니다.
1.8.1. Cryostat에 대한 사용자 정의 지식 제공 링크 복사링크가 클립보드에 복사되었습니다!
원격 이미지 레지스트리에 있는 컨테이너 이미지에 대한 액세스를 제공하여 대용량 언어 모델(LLM)에서 사용할 수 있는 정보를 사용자 지정합니다. 이 절차의 예제에서는 quay.io
를 원격 컨테이너 이미지 레지스트리로 사용하고 사용자 지정 이미지의 경로는 quay.io/<username>/my-byok-image:latest
입니다.
BYO Knowledge 도구는 기술 프리뷰 기능 전용입니다. 기술 프리뷰 기능은 Red Hat 프로덕션 서비스 수준 계약(SLA)에서 지원되지 않으며 기능적으로 완전하지 않을 수 있습니다. 따라서 프로덕션 환경에서 사용하는 것은 권장하지 않습니다. 이러한 기능을 사용하면 향후 제품 기능을 조기에 이용할 수 있어 개발 과정에서 고객이 기능을 테스트하고 피드백을 제공할 수 있습니다.
Red Hat 기술 프리뷰 기능의 지원 범위에 대한 자세한 내용은 기술 프리뷰 기능 지원 범위를 참조하십시오.
사전 요구 사항
-
cluster-admin
역할의 사용자와 같이 클러스터 범위 CR(사용자 정의 리소스) 파일을 생성할 수 있는 권한이 있는 사용자 계정으로 OpenShift Container Platform 웹 콘솔에 로그인했습니다. - OpenShift Lightspeed 서비스와 함께 사용할 수 있는 Cryostat 공급자를 사용할 수 있습니다.
- OpenShift Lightspeed Operator가 설치되어 있습니다.
-
추가하려는 사용자 지정 정보는
.md
확장이 포함된 마크다운 파일의 컬렉션으로 존재합니다. 다른 파일 형식은 지원되지 않습니다. -
Podman을 사용하여
registry.redhat.io
에 로그인했습니다. -
quay.io
와 같은 컨테이너 이미지 레지스트리에 대한 계정이 있습니다.
프로세스
검색 대상 생성(RAG) 데이터베이스에 대한 마크다운 파일이 있는 디렉터리의 위치와 다음 명령을 실행하여 BYO Knowledge 툴에서 생성하는 이미지의 경로를 지정합니다.
podman run -it --rm --device=/dev/fuse \ -v $XDG_RUNTIME_DIR/containers/auth.json:/run/user/0/containers/auth.json:Z \ -v <dir_tree_with_markdown_files>:/markdown:Z \ -v <dir_for_image_tar>:/output:Z \ registry.redhat.io/openshift-lightspeed-tech-preview/lightspeed-rag-tool-rhel9:latest
$ podman run -it --rm --device=/dev/fuse \ -v $XDG_RUNTIME_DIR/containers/auth.json:/run/user/0/containers/auth.json:Z \ -v <dir_tree_with_markdown_files>:/markdown:Z \ -v <dir_for_image_tar>:/output:Z \ registry.redhat.io/openshift-lightspeed-tech-preview/lightspeed-rag-tool-rhel9:latest
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 참고툴에서 생성하는 컨테이너 이미지에는 사용자 지정 RAG 데이터베이스가 포함되어 있습니다. RAG 데이터베이스는 Cryostat에 대한 추가 정보를 제공합니다.
다음 명령을 실행하여 BYO Knowledge 툴에서 생성한 컨테이너 이미지를 로드합니다.
podman load < <directory_for_image_tar>/<my-byok-image.tar>
$ podman load < <directory_for_image_tar>/<my-byok-image.tar>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 로컬 컴퓨터에 있는 podman 이미지를 표시합니다.
podman images
$ podman images
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
REPOSITORY TAG IMAGE ID CREATED SIZE localhost/my-byok-image latest be7d1770bf10 1 minute ago 2.37 GB ...
REPOSITORY TAG IMAGE ID CREATED SIZE localhost/my-byok-image latest be7d1770bf10 1 minute ago 2.37 GB ...
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 이미지를 컨테이너 이미지 레지스트리로 내보낼 수 있도록 이름과 대상을 사용하여 로컬 이미지에 태그를 지정합니다.
podman tag localhost/my-byok-image:latest quay.io/<username>/my-byok-image:latest
$ podman tag localhost/my-byok-image:latest quay.io/<username>/my-byok-image:latest
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 로컬 컨테이너 이미지를 컨테이너 이미지 레지스트리로 내보냅니다.
podman push quay.io/<username>/my-byok-image:latest
$ podman push quay.io/<username>/my-byok-image:latest
Copy to Clipboard Copied! Toggle word wrap Toggle overflow OLSconfig
CR을 수정하여 새로 생성된 RAG 데이터베이스를 기존 데이터베이스와 함께 배포합니다.-
OpenShift Container Platform 웹 콘솔에서 Operator
설치된 Operator를 클릭합니다. - 화면 상단에 있는 프로젝트 드롭다운에서 모든 프로젝트를 선택합니다.
- OpenShift Lightspeed Operator 를 클릭합니다.
-
OLSConfig 를 클릭한 다음 목록에서
클러스터
구성 인스턴스를 클릭합니다. - YAML 탭을 클릭합니다.
spec.ols.rag
yaml 코드를 삽입합니다.OLSconfig
CR 파일의 예Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 여기서
image
는 OpenShift Lightspeed Operator가 사용자 정의 콘텐츠에 액세스할 수 있도록 이미지 레지스트리로 푸시된 이미지의 태그를 지정합니다. OpenShift Lightspeed Operator는 사용자가 생성하는 여러 RAG 데이터베이스에서 작업할 수 있습니다.
-
OpenShift Container Platform 웹 콘솔에서 Operator
- 저장을 클릭합니다.
검증
OpenShift Lightspeed 가상 도우미에 액세스하고 사용자가 제공한 사용자 정의 콘텐츠와 관련된 질문을 제출합니다.
OpenShift Lightspeed 가상 도우미는 사용자 정의 콘텐츠를 기반으로 응답을 생성합니다.