Red Hat Summit1장. Red Hat Enterprise Linux AI 개요
Red Hat Enterprise Linux AI는 오픈 소스 LLM(Large Language Models)에서 엔터프라이즈 애플리케이션을 개발할 수 있는 플랫폼입니다. RHEL AI는 Red Hat InstructLab 오픈 소스 프로젝트에서 빌드됩니다. InstructLab에 대한 자세한 내용은 "structLab 및 RHEL AI" 섹션을 참조하십시오.
Red Hat Enterprise Linux AI를 사용하면 다음을 수행할 수 있습니다.
- Cryostat를 호스팅하고 오픈 소스 Granite family of Large Language Models (LLMs)와 상호 작용합니다.
- LAB 방법을 사용하여 Git 리포지토리에 고유한 지식 또는 기술 데이터를 생성하고 추가합니다. 그런 다음 최소한의 머신 학습 배경으로 해당 데이터에 모델을 미세 조정합니다.
- 데이터와 미세 조정된 모델과 상호 작용합니다.
Red Hat Enterprise Linux AI를 사용하면 LLM(Large Language Models)에 직접 기여할 수 있습니다. 이를 통해 chatbots를 포함한 AI 기반 애플리케이션을 쉽고 효율적으로 빌드할 수 있습니다.
1.1. Red Hat Enterprise Linux AI에 대한 일반 용어
링크 복사링크가 클립보드에 복사되었습니다!
이 용어집은 Red Hat Enterprise Linux AI에 대한 일반적인 용어를 정의합니다.
- InstructLab
-
InstructLab는
ilabCLI(명령줄 인터페이스) 툴을 사용하여 AI Large Language Models(LLMs)와 쉽게 참여할 수 있는 플랫폼을 제공하는 오픈 소스 프로젝트입니다. - 대규모 언어 모델
- Cryostats로 알려진 것은 언어 생성 또는 작업 처리를 수행할 수 있는 인공 지능의 유형입니다.
- 합성 데이터 생성 (SDG)
- 사람이 생성한 샘플과 함께 대규모 Cryostat(Large Language Models)를 사용하여 다른 Cryostat를 교육하는 데 사용할 수 있는 인공 데이터를 생성하는 프로세스입니다.
- fine-tuning
- Cryostat가 특정 목표를 달성하도록 훈련된 기술: 특정 정보를 알거나 특정 작업을 수행하는 것입니다.
- LAB
- "Large-Scale Alignment for chatBots"의 약어입니다. IBM Research에 의해 개발된 LAB는 새로운 합성 데이터 기반 및 다상 교육 미세 교육 방법에 해당합니다. InstructLab은 합성 생성 및 교육 중에 LAB 메서드를 구현합니다.
- 다단계 교육
- LAB 방법이 구현하는 미세한 전략입니다. 이 프로세스 중에 모델은 별도의 단계에서 여러 데이터 집합에 맞게 조정됩니다.During this process, a model is fine-tuned on multiple sets in separate phases. 이 모델은 체크포인트로 저장하는 epochs라는 여러 단계로 이루어집니다. 그런 다음 다음 단계에서 교육에 가장 적합한 체크포인트를 사용합니다. 완전히 미세 조정된 모델은 최종 단계에서 점검기를 수행하는 것이 가장 좋습니다.
- 서빙
- 종종 "모델 제공"이라고 합니다. 은 서버에 Cryostat 또는 숙련된 모델을 배포하는 것입니다. 이 프로세스를 통해 채팅 봇으로서 모델과 상호 작용할 수 있습니다.
- 유추
- 모델을 제공하고 채팅할 때 추론은 모델이 입력 데이터를 기반으로 출력을 처리, 감소 및 생성할 수 있는 경우입니다.
- taxonomy
- LAB 방법은 분류된 정보 분류 방법인 taxonomies에 의해 구동됩니다. RHEL AI에서는 자체 데이터로 모델을 미세 조정할 수 있는 분류 트리를 사용자 지정할 수 있습니다.
- Granite
- IBM에서 학습한 오픈 소스(Apache 2.0) Large Language Model RHEL AI에서 사용자 지정을 위한 Granite 제품군 모델을 기본 Cryostat로 다운로드할 수 있습니다.
- PyTorch
- GPU 및 CPU에 대한 딥 러닝을 위한 최적화된 텐서 라이브러리입니다.
- vLLM
- Cryostat를 위한 메모리 효율적인 추론 및 제공 엔진 라이브러리입니다.
- FSDP
- Fully Shared Data Parallels 의 약자 . Pytorch 툴 FSDP는 하드웨어의 여러 장치에 컴퓨팅 성능을 배포할 수 있습니다. 이를 통해 교육 프로세스를 최적화하고 미세 조정 작업을 더 빠르고 더 효율적으로 수행할 수 있습니다. 이 도구는 DeepSpeed의 기능을 공유합니다.
- DeepSpeed
- Python 라이브러리는 여러 장치에 컴퓨팅 리소스를 배포하여 교육 및 미세 조정 작업을 최적화합니다. 이 도구는 FSDP의 기능을 공유합니다. 현재 Deepspeed는 NVIDIA 시스템에 권장되는 하드웨어 로더입니다.
'%20d='M201.5%20305.5c-13.8%200-24.9-11.1-24.9-24.6%200-13.8%2011.1-24.9%2024.9-24.9%2013.6%200%2024.6%2011.1%2024.6%2024.9%200%2013.6-11.1%2024.6-24.6%2024.6zM504%20256c0%20137-111%20248-248%20248S8%20393%208%20256%20119%208%20256%208s248%20111%20248%20248zm-132.3-41.2c-9.4%200-17.7%203.9-23.8%2010-22.4-15.5-52.6-25.5-86.1-26.6l17.4-78.3%2055.4%2012.5c0%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.3%2024.9-24.9s-11.1-24.9-24.9-24.9c-9.7%200-18%205.8-22.1%2013.8l-61.2-13.6c-3-.8-6.1%201.4-6.9%204.4l-19.1%2086.4c-33.2%201.4-63.1%2011.3-85.5%2026.8-6.1-6.4-14.7-10.2-24.1-10.2-34.9%200-46.3%2046.9-14.4%2062.8-1.1%205-1.7%2010.2-1.7%2015.5%200%2052.6%2059.2%2095.2%20132%2095.2%2073.1%200%20132.3-42.6%20132.3-95.2%200-5.3-.6-10.8-1.9-15.8%2031.3-16%2019.8-62.5-14.9-62.5zM302.8%20331c-18.2%2018.2-76.1%2017.9-93.6%200-2.2-2.2-6.1-2.2-8.3%200-2.5%202.5-2.5%206.4%200%208.6%2022.8%2022.8%2087.3%2022.8%20110.2%200%202.5-2.2%202.5-6.1%200-8.6-2.2-2.2-6.1-2.2-8.3%200zm7.7-75c-13.6%200-24.6%2011.1-24.6%2024.9%200%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.1%2024.9-24.6%200-13.8-11-24.9-24.9-24.9z'/%3e%3c/svg%3e){kind=small}