1.2. 기능 및 개선 사항

이제 RHEL AI 버전 1.5에서 NVIDIA H200 액셀러레이터를 사용하여 전체 엔드 투 엔드 워크플로우를 제공하고 실행할 수 있습니다. RHEL AI 환경을 초기화할 때 머신의 가속기 수와 일치하는 H200 프로필을 선택합니다. RHEL AI에서 지원되는 하드웨어에 대한 자세한 내용은 Red Hat Enterprise Linux AI 하드웨어 요구 사항을 참조하십시오.

이제 RHEL AI 버전 1.5에서 NVIDIA H200 액셀러레이터를 사용하여 기술 프리뷰에서 유추할 수 있습니다. RHEL AI에는 기본적으로 Grace Hopper 가속기의 시스템 프로필이 포함되어 있지 않습니다. Cryostat200 액셀러레이터를 사용하려면 h200_x1 프로필로 RHEL AI 환경을 초기화하고 max_startup_attempts: 1200 매개변수를 config.yaml 파일에 추가합니다.

ilab config edit

$ ilab config edit

serve:
vllm:
    gpus: 1
    llm_family: ''
    max_startup_attempts: 1200
    vllm_args: ["--tensor-parallel-size", "1"]

serve:
vllm:
    gpus: 1
    llm_family: ''
    max_startup_attempts: 1200
    vllm_args: ["--tensor-parallel-size", "1"]

AMD#187300X 액셀러레이터는 이제 일반적으로 전체 엔드 투 엔드 워크 플로우를 실행하고 추론 서비스를 사용할 수 있습니다. RHEL AI에서 지원되는 하드웨어에 대한 자세한 내용은 Red Hat Enterprise Linux AI 하드웨어 요구 사항을 참조하십시오.

ilab config init 명령을 실행하여 RHEL AI 환경을 초기화하고 설정할 수 있습니다. 이 명령은 RHEL AI 및 미세 조정 모델과 상호 작용하는 데 필요한 구성을 생성합니다. 또한 데이터 파일에 대한 적절한 디렉터리를 생성합니다. InstructLab 초기화에 대한 자세한 내용은 Cryostat InstructLab 설명서를 참조하십시오.

Red Hat에서 제공하는 다양한 LLM(Lar Language Models)을 RHEL AI 머신 또는 인스턴스로 다운로드할 수 있습니다. Red Hat 레지스트리 계정을 생성하고 로그인한 후 Red Hat 레지스트리에서 이러한 모델을 다운로드할 수 있습니다. 지원되는 RHEL AI Cryostat에 대한 자세한 내용은 모델 다운로드 문서 및 "LLM(Large Language Models) 기술 프리뷰 상태"를 참조하십시오.

Red Hat Enterprise Linux AI 버전 1.5를 사용하면 다양한 Cryostat에서 vLLM 추론 서버를 실행할 수 있습니다. vLLM 툴은 RHEL AI 이미지에 포함된 Cryostat를 위한 메모리 효율적인 추론 및 제공 엔진 라이브러리입니다. 모델 사용 및 채팅에 대한 자세한 내용은 Serving 및 chating with the models 문서를 참조하십시오.

Red Hat Enterprise Linux AI에는 합성 데이터 생성(SDG)의 향상된 LAB 기능이 포함되어 있습니다. 자체 지식 데이터와 함께 qna.yaml 파일을 사용하여 SDG 프로세스에서 수백 개의 기술 데이터 세트를 만들 수 있습니다. SDG 프로세스 실행에 대한 자세한 내용은 Synthetic data generation (SDG)을 사용하여 새 데이터 세트 생성 을 참조하십시오.

Red Hat Enterprise Linux AI에는 LAB 향상된 다단계 교육 방법이 포함되어 있습니다. 데이터 세트를 여러 단계에서 교육하고 평가하여 최상의 모델을 만들 수 있습니다. 다단계 교육에 대한 자세한 내용은 모델에서 데이터 교육을 참조하십시오.

Red Hat Enterprise Linux AI에는 새로 숙련된 모델에서 벤치마크 평가를 실행할 수 있는 기능이 포함되어 있습니다. 숙련된 모델에서는 모델이 MMLU_BRANCH 또는 MT_BENCH_BRANCH 벤치마크로 추가한 지식이나 기술을 얼마나 잘 알고 있는지 평가할 수 있습니다. 벤치마크 평가에 대한 자세한 내용은 새 모델 평가를 참조하십시오.

이제 Ansible Automation Platform Hub를 사용하여 플레이북에서 RHEL AI 워크로드를 실행할 수 있습니다. 여기에는 다음 두 가지 Ansible 컬렉션이 포함됩니다.

기존 Ansible Automation Platform 고객인 경우 이러한 컬렉션은 현재 서브스크립션에 포함되어 있습니다.