Red Hat Summit릴리스 노트
Red Hat Enterprise Linux AI 릴리스 노트
초록
1장. Red Hat Enterprise Linux AI 1.5 릴리스 노트
RHEL AI는 조직에서 오픈 소스 LLM(Large Language Models)에서 엔터프라이즈 애플리케이션을 개발하는 프로세스를 제공합니다.
1.1. 릴리스 정보
Red Hat Enterprise Linux AI 버전 1.5에는 Red Hat 및 IBM에서 대규모 언어 모델(LLM)의 다양한 기능이 포함되어 있으며 IBM은 Granite 모델을 생산했습니다. RHEL AI 워크플로를 사용하는 사용자 지정 모델은 다음과 같습니다.
- InstructLab 툴을 사용하여 RHEL 9.4 인스턴스를 설치하고 시작합니다.
- Git 리포지토리에서 정보를 호스팅하고 모델이 학습할 지식에 대한 Git 기반 분류와 상호 작용합니다.
- 합성 데이터 생성(SDG), 다단계 교육 및 벤치마크 평가의 엔드 투 엔드 워크플로를 실행합니다.
- 새로 미세 조정된 Cryostat와 함께 서비스를 제공하고 채팅합니다.
1.2. 기능 및 개선 사항
Red Hat Enterprise Linux AI 버전 1.5에는 LLM( Large Language Model) 미세 튜닝을 위한 다양한 기능이 포함되어 있습니다.
1.2.1. Suppored 액셀러레이터
1.2.1.1. NVIDIA H200 액셀러레이터
이제 RHEL AI 버전 1.5에서 NVIDIA H200 액셀러레이터를 사용하여 전체 엔드 투 엔드 워크플로우를 제공하고 실행할 수 있습니다. RHEL AI 환경을 초기화할 때 머신의 가속기 수와 일치하는 H200 프로필을 선택합니다. RHEL AI에서 지원되는 하드웨어에 대한 자세한 내용은 Red Hat Enterprise Linux AI 하드웨어 요구 사항을 참조하십시오.
1.2.1.2. NVIDIA Grace Hopper Cryostat200 액셀러레이터 (기술 프리뷰)
이제 RHEL AI 버전 1.5에서 NVIDIA H200 액셀러레이터를 사용하여 기술 프리뷰에서 유추할 수 있습니다. RHEL AI에는 기본적으로 Grace Hopper 가속기의 시스템 프로필이 포함되어 있지 않습니다. Cryostat200 액셀러레이터를 사용하려면 h200_x1 프로필로 RHEL AI 환경을 초기화하고 max_startup_attempts: 1200 매개변수를 config.yaml 파일에 추가합니다.
$ ilab config editserve:
vllm:
gpus: 1
llm_family: ''
max_startup_attempts: 1200
vllm_args: ["--tensor-parallel-size", "1"]1.2.1.3. AMD#187300X 액셀러레이터
AMD#187300X 액셀러레이터는 이제 일반적으로 전체 엔드 투 엔드 워크 플로우를 실행하고 추론 서비스를 사용할 수 있습니다. RHEL AI에서 지원되는 하드웨어에 대한 자세한 내용은 Red Hat Enterprise Linux AI 하드웨어 요구 사항을 참조하십시오.
1.2.2. 설치
Red Hat Enterprise Linux AI는 부팅 가능한 이미지로 설치할 수 있습니다. 이 이미지에는 RHEL AI와 상호 작용을 위한 다양한 툴링이 포함되어 있습니다. 이미지에는 Red Hat Enterprise Linux 9.4, Python 버전 3.11 및 InstructLab 툴이 포함되어 있습니다. Red Hat Enterprise Linux AI 설치에 대한 자세한 내용은 설치 개요 및 "설치 기능 추적기"를 참조하십시오.
1.2.3. RHEL AI 환경 빌드
Red Hat Enterprise Linux AI를 설치한 후 InstructLab 툴을 사용하여 RHEL AI 환경을 설정할 수 있습니다.
1.2.3.1. Initializing InstructLab
ilab config init 명령을 실행하여 RHEL AI 환경을 초기화하고 설정할 수 있습니다. 이 명령은 RHEL AI 및 미세 조정 모델과 상호 작용하는 데 필요한 구성을 생성합니다. 또한 데이터 파일에 대한 적절한 디렉터리를 생성합니다. InstructLab 초기화에 대한 자세한 내용은 Cryostat InstructLab 설명서를 참조하십시오.
1.2.3.2. 대규모 언어 모델 다운로드
Red Hat에서 제공하는 다양한 LLM(Lar Language Models)을 RHEL AI 머신 또는 인스턴스로 다운로드할 수 있습니다. Red Hat 레지스트리 계정을 생성하고 로그인한 후 Red Hat 레지스트리에서 이러한 모델을 다운로드할 수 있습니다. 지원되는 RHEL AI Cryostat에 대한 자세한 내용은 모델 다운로드 문서 및 "LLM(Large Language Models) 기술 프리뷰 상태"를 참조하십시오.
1.2.3.2.1. 3.1 Granite 모델의 버전 2
RHEL AI 버전 1.5는 이제 granite-3.1-8b-starter-v2 Admission 모델 및 granite-3.1-8b-lab-v2 추론 모델을 지원합니다. 모델에 대한 자세한 내용은 대규모 Lanuage 모델 다운로드 설명서를 참조하십시오.
1.2.3.3. 모델을 사용하여 서비스 및 채팅
Red Hat Enterprise Linux AI 버전 1.5를 사용하면 다양한 Cryostat에서 vLLM 추론 서버를 실행할 수 있습니다. vLLM 툴은 RHEL AI 이미지에 포함된 Cryostat를 위한 메모리 효율적인 추론 및 제공 엔진 라이브러리입니다. 모델 사용 및 채팅에 대한 자세한 내용은 Serving 및 chating with the models 문서를 참조하십시오.
1.2.4. 기술 및 지식 YAML 파일 생성
Red Hat Enterprise Linux AI에서는 사용자 지정 YAML 파일을 사용하여 taxonomy 트리를 사용자 지정할 수 있으므로 모델이 도메인별 정보를 배울 수 있습니다. 지식 데이터를 Git 리포지토리에 호스팅하고 해당 데이터를 사용하여 모델을 미세 조정합니다. 지식 마크다운 및 YAML 파일을 생성하는 방법에 대한 자세한 문서는 taxonomy 트리 사용자 지정을 참조하십시오.
1.2.5. RHEL AI를 사용하여 사용자 지정 Cryostat 생성
Red Hat Enterprise Linux AI를 사용하여 도메인별 기술 및 지식을 갖춘 granite Starter Cryostat를 사용자 지정할 수 있습니다. RHEL AI에는 SDG( Synthetic Data Generation) 및 다단계 교육의 LAB 개선 방법이 포함되어 있습니다.
1.2.5.1. 합성 데이터 생성 (SDG)
Red Hat Enterprise Linux AI에는 합성 데이터 생성(SDG)의 향상된 LAB 기능이 포함되어 있습니다. 자체 지식 데이터와 함께 qna.yaml 파일을 사용하여 SDG 프로세스에서 수백 개의 기술 데이터 세트를 만들 수 있습니다. SDG 프로세스 실행에 대한 자세한 내용은 Synthetic data generation (SDG)을 사용하여 새 데이터 세트 생성 을 참조하십시오.
1.2.5.1.1. 마스터 모델로 llama-3.3-70B-Instruct 모델을 사용하여 SDG 실행 (기술 프리뷰)
RHEL AI 버전 1.5는 이제 SDG( Synthetic Data Generation)를 기술 프리뷰로 실행할 때 llama-3.3-70b-Instruct 를 마스터 모델로 사용할 수 있습니다. 자세한 내용은 llama-3.3-70B-Instruct 모델 사용 (기술 프리뷰) 설명서를 참조하십시오.
1.2.5.2. 데이터를 사용하여 모델 교육
Red Hat Enterprise Linux AI에는 LAB 향상된 다단계 교육 방법이 포함되어 있습니다. 데이터 세트를 여러 단계에서 교육하고 평가하여 최상의 모델을 만들 수 있습니다. 다단계 교육에 대한 자세한 내용은 모델에서 데이터 교육을 참조하십시오.
1.2.5.3. 벤치마크 평가
Red Hat Enterprise Linux AI에는 새로 숙련된 모델에서 벤치마크 평가를 실행할 수 있는 기능이 포함되어 있습니다. 숙련된 모델에서는 모델이 MMLU_BRANCH 또는 MT_BENCH_BRANCH 벤치마크로 추가한 지식이나 기술을 얼마나 잘 알고 있는지 평가할 수 있습니다. 벤치마크 평가에 대한 자세한 내용은 새 모델 평가를 참조하십시오.
1.2.6. Red Hat 교차 제품 기능
1.2.6.1. Ansible Automation Platform을 사용하여 RHEL AI 자동화
이제 Ansible Automation Platform Hub를 사용하여 플레이북에서 RHEL AI 워크로드를 실행할 수 있습니다. 여기에는 다음 두 가지 Ansible 컬렉션이 포함됩니다.
- infra.ai
- AWS, GCP, Azure를 포함한 다양한 클라우드 공급자 인프라에서 RHEL AI 환경을 프로비저닝할 수 있는 콘텐츠 컬렉션입니다. 이 컬렉션은 다양한 클라우드 공급자 간에 AI 워크로드를 간단하게 배포할 수 있습니다.
- redhat.ai
- RHEL AI에서 워크로드를 관리하도록 설계된 콘텐츠 컬렉션입니다. Ansible 플레이북 옵션을 사용하여 RHEL AI에서 신속하게 배포를 생성할 수 있으므로 모델 교육 및 제공 프로세스를 보다 효율적으로 수행할 수 있습니다.
기존 Ansible Automation Platform 고객인 경우 이러한 컬렉션은 현재 서브스크립션에 포함되어 있습니다.
1.3. Red Hat Enterprise Linux AI 기능 추적기
이 릴리스의 일부 기능은 현재 기술 프리뷰 단계에 있습니다. 이러한 실험적 기능은 프로덕션용이 아닙니다. Red Hat 기술 프리뷰 기능의 지원 범위에 대한 자세한 내용은 기술 프리뷰 기능 지원 범위를 참조하십시오.
다음 표에서 기능은 다음 상태로 표시됩니다.
- 사용할 수 없음
- 기술 프리뷰
- 정식 출시일 (GA)
- 더 이상 사용되지 않음
- 제거됨
1.3.1. 설치 기능 추적기
| 기능 | 1.1 | 1.2 | 1.3 | 1.4 | 1.5 |
|---|---|---|---|---|---|
| 베어 메탈에 설치 | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 |
| AWS에 설치 | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 |
| IBM Cloud에 설치 | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 |
| GCP에 설치 | 사용할 수 없음 | 기술 프리뷰 | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 |
| Azure에 설치 | 사용할 수 없음 | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 |
1.3.2. 플랫폼 지원 기능 추적기
| 기능 | 1.1 | 1.2 | 1.3 | 1.4 | 1.5 |
|---|---|---|---|---|---|
| 베어 메탈 | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 |
| AWS | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 |
| IBM Cloud | 사용할 수 없음 | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 |
| Google Cloud Platform | 사용할 수 없음 | 기술 프리뷰 | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 |
| Azure | 사용할 수 없음 | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 |
| 기능 | 1.1 | 1.2 | 1.3 | 1.4 | 1.5 |
|---|---|---|---|---|---|
| 베어 메탈 | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 |
| AWS | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 |
| IBM Cloud | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 |
| GCP(Google Cloud Platform) | 사용할 수 없음 | 기술 프리뷰 | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 |
| Azure | 사용할 수 없음 | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 |
| 기능 | 1.1 | 1.2 | 1.3 | 1.4 | 1.5 |
|---|---|---|---|---|---|
| AWS | 사용할 수 없음 | 사용할 수 없음 | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 |
| Azure | 사용할 수 없음 | 사용할 수 없음 | 일반적으로 사용 가능 | 일반적으로 사용 가능 | 일반적으로 사용 가능 |
1.4. 대규모 언어 모델 추적기
1.4.1. RHEL AI 버전 1.5 하드웨어 벤더 Cryostat 지원
| 기능 | NVIDIA | AMD | Intel |
|
| 일반적으로 사용 가능 | 일반적으로 사용 가능 | 사용할 수 없음 |
|
| 일반적으로 사용 가능 | 일반적으로 사용 가능 | 사용할 수 없음 |
|
| 사용할 수 없음 | 사용할 수 없음 | 기술 프리뷰 |
|
| 사용할 수 없음 | 사용할 수 없음 | 기술 프리뷰 |
|
| 기술 프리뷰 | 기술 프리뷰 | 기술 프리뷰 |
|
| 기술 프리뷰 | 기술 프리뷰 | 기술 프리뷰 |
|
| 일반적으로 사용 가능 | 일반적으로 사용 가능 | 기술 프리뷰 |
|
| 기술 프리뷰 | 기술 프리뷰 | 사용할 수 없음 |
|
| 일반적으로 사용 가능 | 일반적으로 사용 가능 | 사용할 수 없음 |
1.5. 확인된 문제
MMLU 평가 실행
RHEL AI 버전 1.5에서는 MMLU를 실행할 때 --skip-server 플래그를 사용해야 합니다.
일부 NVIDIA A100 시스템에서 잘못된 자동 감지
RHEL AI는 A100 액셀러레이터를 사용하여 시스템에서 잘못된 시스템 프로파일을 자동 감지하는 경우가 있습니다.
올바른 시스템 프로파일을 다시 초기화하고 전달하여 올바른 프로필을 선택할 수 있습니다.
$ ilab config init --profile <path-to-system-profile>Fabric Manager가 NVIDIA 가속기에서 항상 시작되지는 않습니다.
NVIDIA 시스템에 Red Hat Enterprise Linux AI를 설치한 후 모델을 제공하거나 교육할 때 다음과 같은 오류가 표시될 수 있습니다.
INFO 2024-11-26 22:18:04,244 instructlab.model.serve_backend:56: Using model '/var/home/cloud-user/.local/share/instructlab/phased/phase2/checkpoints/hf_format/samples_29117' with -1 gpu-lay
ers and 4096 max context size.
INFO 2024-11-26 22:18:04,244 instructlab.model.serve_backend:88: '--gpus' flag used alongside '--tensor-parallel-size' in the vllm_args section of the config file. Using value of the --gpus
File "/opt/app-root/lib64/python3.11/site-packages/vllm/entrypoints/openai/api_server.py", line 105, in build_async_engine_client
async with build_async_engine_client_from_engine_args(
File "/usr/lib64/python3.11/contextlib.py", line 210, in __aenter__
return await anext(self.gen)
^^^^^^^^^^^^^^^^^^^^^
File "/opt/app-root/lib64/python3.11/site-packages/vllm/entrypoints/openai/api_server.py", line 192, in build_async_engine_client_from_engine_args
raise RuntimeError(
RuntimeError: Engine process failed to start이 문제를 해결하려면 다음 명령을 실행해야 합니다.
$ sudo systemctl stop nvidia-persistenced.service
$ sudo systemctl start nvidia-fabricmanager.service
$ sudo systemctl start nvidia-persistenced.serviceUI AMD 기술 프리뷰 설치
Red Hat Enterprise Linux AI 버전 1.5는 현재 프리뷰된 AMD ISO 기술을 사용한 그래픽 기반 설치를 지원하지 않습니다. Kickstart 파일의 텍스트 매개변수가 비대화형 설치용으로 구성되어 있는지 확인합니다. 대화형 설치 중에 쉘에 inst.text 를 전달하여 설치 시간 충돌을 방지할 수도 있습니다.
SDG는 4xL40에서 실패할 수 있습니다
SDG가 4xL40s에서 실행하려면 --num-cpus 플래그를 사용하여 SDG를 실행하고 4 값으로 설정해야합니다.
$ ilab data generate --num-cpus 4
granite-8b-starter-v1 모델의 MMLU 및 MMLU_BRANCH
granite-8b-starter-v1 Cryostat에서 빌드된 모델을 평가할 때 MMLU 및 MMLU_BRANCH 벤치마크를 실행할 때 vLLM이 시작되지 않을 수 있습니다.
vLLM이 시작되지 않으면 config.yaml 파일의 serve 섹션에 다음 매개변수를 추가합니다.
serve:
vllm:
vllm_args: [--dtype bfloat16]nfs를 통한 kdump
Red Hat Enterprise Linux AI 버전 1.5는 구성없이 nfs를 통해 kdump를 지원하지 않습니다. 이 기능을 사용하려면 다음 명령을 실행합니다.
mkdir -p /var/lib/kdump/dracut.conf.d
echo "dracutmodules=''" > /var/lib/kdump/dracut.conf.d/99-kdump.conf
echo "omit_dracutmodules=''" >> /var/lib/kdump/dracut.conf.d/99-kdump.conf
echo "dracut_args --confdir /var/lib/kdump/dracut.conf.d --install /usr/lib/passwd --install /usr/lib/group" >> /etc/kdump.conf
systemctl restart kdump1.6. 비동기 z-stream 업데이트
RHEL AI 1.5의 보안, 버그 수정 및 개선 사항 업데이트는 비동기 z-stream 업데이트로 릴리스됩니다.
이 섹션은 향후 RHEL AI 1.5의 비동기 z-stream 릴리스의 개선 사항 및 버그 수정에 대한 정보 제공을 위해 지속적으로 업데이트됩니다. RHEL AI 1.5.z와 같은 비동기 버전 릴리스 정보는 하위 섹션에 자세히 설명되어 있습니다.
1.6.1. Red Hat Enterprise Linux AI 1.5.1 기능 및 버그 수정
출시 날짜: 2025년 6월 11일
Red Hat Enterprise Linux AI 릴리스 1.5.1이 공개되었습니다. 이 릴리스에는 버그 수정 및 제품 개선 사항이 포함되어 있습니다.
1.6.1.1. 기능
RHEL AI 1.5.1 이상 1.5.z 릴리스는 추론 서비스 모델을 위해 Intel Gaudi 3 액셀러레이터를 지원합니다. Red Hat Enterprise Linux AI 다운로드 페이지에서 Red Hat Enterprise Linux AI 이미지를 다운로드하고 Gaudi3 액셀러레이터가 있는 머신에 RHEL AI를 배포할 수 있습니다.
1.6.1.2. 업그레이드
RHEL AI 시스템을 최신 z-stream 버전으로 업데이트하려면 Red Hat 레지스트리에 로그인하고 다음 명령을 실행해야 합니다.
$ sudo bootc upgrade --apply1.6.2. Red Hat Enterprise Linux AI 1.5.2 기능 및 버그 수정
출시 날짜: 2025년 6월 24일
Red Hat Enterprise Linux AI 릴리스 1.5.2가 공개되었습니다. 이 릴리스에는 버그 수정 및 제품 개선 사항이 포함되어 있습니다.
1.6.2.1. 업그레이드
RHEL AI 시스템을 최신 z-stream 버전으로 업데이트하려면 Red Hat 레지스트리에 로그인하고 다음 명령을 실행해야 합니다.
$ sudo bootc upgrade --apply
'%20d='M201.5%20305.5c-13.8%200-24.9-11.1-24.9-24.6%200-13.8%2011.1-24.9%2024.9-24.9%2013.6%200%2024.6%2011.1%2024.6%2024.9%200%2013.6-11.1%2024.6-24.6%2024.6zM504%20256c0%20137-111%20248-248%20248S8%20393%208%20256%20119%208%20256%208s248%20111%20248%20248zm-132.3-41.2c-9.4%200-17.7%203.9-23.8%2010-22.4-15.5-52.6-25.5-86.1-26.6l17.4-78.3%2055.4%2012.5c0%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.3%2024.9-24.9s-11.1-24.9-24.9-24.9c-9.7%200-18%205.8-22.1%2013.8l-61.2-13.6c-3-.8-6.1%201.4-6.9%204.4l-19.1%2086.4c-33.2%201.4-63.1%2011.3-85.5%2026.8-6.1-6.4-14.7-10.2-24.1-10.2-34.9%200-46.3%2046.9-14.4%2062.8-1.1%205-1.7%2010.2-1.7%2015.5%200%2052.6%2059.2%2095.2%20132%2095.2%2073.1%200%20132.3-42.6%20132.3-95.2%200-5.3-.6-10.8-1.9-15.8%2031.3-16%2019.8-62.5-14.9-62.5zM302.8%20331c-18.2%2018.2-76.1%2017.9-93.6%200-2.2-2.2-6.1-2.2-8.3%200-2.5%202.5-2.5%206.4%200%208.6%2022.8%2022.8%2087.3%2022.8%20110.2%200%202.5-2.2%202.5-6.1%200-8.6-2.2-2.2-6.1-2.2-8.3%200zm7.7-75c-13.6%200-24.6%2011.1-24.6%2024.9%200%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.1%2024.9-24.6%200-13.8-11-24.9-24.9-24.9z'/%3e%3c/svg%3e){kind=small}