Red Hat Summit1장. 하드웨어 가속기에 대하여
특수 하드웨어 가속기는 새롭게 부상하는 생성적 인공지능 및 머신러닝(AI/ML) 산업에서 핵심적인 역할을 합니다. 특히, 하드웨어 가속기는 이 새로운 기술을 구동하는 대규모 언어 및 기타 기반 모델의 훈련과 제공에 필수적입니다. 데이터 과학자, 데이터 엔지니어, ML 엔지니어 및 개발자는 데이터 집약적 변환과 모델 개발 및 제공을 위해 특수 하드웨어 가속을 활용할 수 있습니다. 그 생태계의 대부분은 오픈 소스이며, 여러 기여 파트너와 오픈 소스 재단이 있습니다.
Red Hat OpenShift Container Platform은 하드웨어 가속기를 구성하는 처리 장치를 추가하는 카드 및 주변 하드웨어에 대한 지원을 제공합니다.
- 그래픽 처리 장치(GPU)
- 신경 처리 장치(NPU)
- ASIC(Application-Specific Integrated Circuits)
- 데이터 처리 장치(DPU)
특수 하드웨어 가속기는 AI/ML 개발에 다양한 이점을 제공합니다.
- 모두를 위한 하나의 플랫폼
- 개발자, 데이터 엔지니어, 데이터 과학자 및 DevOps를 위한 협업 환경
- Operator를 통한 확장 기능
- 운영자는 OpenShift Container Platform에 AI/ML 기능을 도입할 수 있습니다.
- 하이브리드 클라우드 지원
- 모델 개발, 전달 및 배포를 위한 온프레미스 지원
- AI/ML 워크로드 지원
- 모델 테스트, 반복, 통합, 홍보 및 서비스로 프로덕션에 제공
Red Hat은 Red Hat Enterprise Linux(RHEL) 및 OpenShift Container Platform 플랫폼의 Linux(커널 및 사용자 공간) 및 Kubernetes 계층에서 이러한 특수 하드웨어 가속기를 활성화하기 위한 최적화된 플랫폼을 제공합니다. 이를 위해 Red Hat은 Red Hat OpenShift AI와 Red Hat OpenShift Container Platform의 검증된 기능을 단일 엔터프라이즈급 AI 애플리케이션 플랫폼으로 결합했습니다.
하드웨어 운영자는 Kubernetes 클러스터의 운영 프레임워크를 사용하여 필요한 가속기 리소스를 활성화합니다. 제공된 장치 플러그인을 수동으로 또는 데몬 세트로 배포할 수도 있습니다. 이 플러그인은 클러스터에 GPU를 등록합니다.
특정 전문 하드웨어 가속기는 개발 및 테스트를 위해 보안 환경을 유지해야 하는 분리된 환경에서 작동하도록 설계되었습니다.
1.1. 하드웨어 가속기
Red Hat OpenShift Container Platform은 다음과 같은 하드웨어 가속기를 지원합니다.
- NVIDIA GPU
- AMD Instinct® GPU
- 인텔® 가우디®
'%20d='M201.5%20305.5c-13.8%200-24.9-11.1-24.9-24.6%200-13.8%2011.1-24.9%2024.9-24.9%2013.6%200%2024.6%2011.1%2024.6%2024.9%200%2013.6-11.1%2024.6-24.6%2024.6zM504%20256c0%20137-111%20248-248%20248S8%20393%208%20256%20119%208%20256%208s248%20111%20248%20248zm-132.3-41.2c-9.4%200-17.7%203.9-23.8%2010-22.4-15.5-52.6-25.5-86.1-26.6l17.4-78.3%2055.4%2012.5c0%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.3%2024.9-24.9s-11.1-24.9-24.9-24.9c-9.7%200-18%205.8-22.1%2013.8l-61.2-13.6c-3-.8-6.1%201.4-6.9%204.4l-19.1%2086.4c-33.2%201.4-63.1%2011.3-85.5%2026.8-6.1-6.4-14.7-10.2-24.1-10.2-34.9%200-46.3%2046.9-14.4%2062.8-1.1%205-1.7%2010.2-1.7%2015.5%200%2052.6%2059.2%2095.2%20132%2095.2%2073.1%200%20132.3-42.6%20132.3-95.2%200-5.3-.6-10.8-1.9-15.8%2031.3-16%2019.8-62.5-14.9-62.5zM302.8%20331c-18.2%2018.2-76.1%2017.9-93.6%200-2.2-2.2-6.1-2.2-8.3%200-2.5%202.5-2.5%206.4%200%208.6%2022.8%2022.8%2087.3%2022.8%20110.2%200%202.5-2.2%202.5-6.1%200-8.6-2.2-2.2-6.1-2.2-8.3%200zm7.7-75c-13.6%200-24.6%2011.1-24.6%2024.9%200%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.1%2024.9-24.6%200-13.8-11-24.9-24.9-24.9z'/%3e%3c/svg%3e){kind=small}