红帽全球峰会1.3. 常用术语表
此术语表定义了 Red Hat OpenShift AI 的常见术语。
- 加速器
- 在高性能计算中，一个专门的电路用于从 CPU 获取一些计算负载，从而提高了系统的效率。例如，在深入学习中，GPU 加速的计算通常会在主应用程序从 CPU 运行时将计算工作负载部分卸载到 GPU。
- 智能(AI)
- 以模型形式获取、流程、创建和应用知识的能力，以做出预测、建议或决策。
- bias 检测
- 计算公平指标以检测何时根据特定属性提供非公平结果的过程。
- 自定义资源 (CR)
- 通过 Kubernetes CustomResourceDefinition API 实施的资源。自定义资源与内置的 Kubernetes 资源（如 pod 和服务资源）不同。每个 CR 都是一个 API 组的一部分。
- 自定义资源定义(CRD)
-
在 Red Hat OpenShift 中，自定义资源定义(CRD)在集群中定义了一个新的、唯一的对象
Kind，并允许 Kubernetes API 服务器处理其整个生命周期。 - 连接
- 此配置存储了从数据科学项目连接到 S3 兼容对象存储、数据库或 OCI 兼容容器 registry 所需的参数。
- 连接类型
- 从数据科学项目连接的外部源类型，如 OCI 兼容容器 registry、兼容 S3 的对象存储或统一资源标识符(URI)。
- 数据科学项目
- 数据科学家和 AI 工程师用来自动化管道的工作流引擎，如模型培训和评估管道。数据科学项目还包括试验跟踪功能、工件存储和版本控制。
- 数据科学项目
- 用于整理数据科学工作的 OpenShift 项目。每个项目限定为自己的 Kubernetes 命名空间。
- 断开连接的环境
- 受限网络中的环境，没有有效的互联网连接。
- 分布式工作负载
- 在 OpenShift 集群中在多个节点之间同时运行的数据科学工作负载。
- 微调
- 通过执行其他培训，调整预盘模型来执行特定任务的过程。调优可能涉及(1)更新模型的现有参数，称为完全调优，或者(2)更新模型现有参数的子集，或在模型中添加新参数并对其进行培训，同时释放模型的现有参数，称为参数效率的调优。
- 图形处理单元(GPU)
- 旨在快速操作和更改内存的专用处理器，以便在旨在输出到显示的帧缓冲区中加快镜像的创建。由于并行处理功能，在机器学习中大量使用 GPU。
- inference
- 使用受培训的 AI 模型根据模型提供的输入数据生成预测或结论的过程。
- inference 服务器
- 执行推测的服务器。推论服务器通过机器学习模型提供输入请求并返回输出。
- 大型语言模型(LLM)
- 具有大量参数的语言模型，获得大量文本培训。
- 机器学习(ML)
- 人工智能(AI)和计算机科学的分支，专注于使用数据和算法来区分人类学习的方式，逐渐改进 AI 模型的准确性。
- model
- 在机器学习上下文中，已对一个数据集进行了培训并测试的一系列功能和算法，以提供预测或决策。
- 模型 registry
- 中央存储库，包含与机器学习模型相关的元数据，从最初到部署。元数据范围从部署环境和项目来源等高级别信息的范围，到类似培训超参数、性能指标和部署事件等细节。
- 模型服务器
- 托管机器学习模型的容器，公开 API 来处理传入请求、执行推测和返回模型预测。
- model-serving 运行时
- 有助于创建部署机器学习模型模型服务器的组件或框架，并为推测而优化构建 API。
- MLOps
- 数据科学家和操作专业人员之间的协作，以帮助管理生产机器学习（或深入学习）生命周期。MLOps 期望提高自动化并提高生产 ML 的质量，同时专注于业务和监管要求。它涉及建模开发、培训、验证、部署、监控和管理，并使用 CI/CD 等方法。
- 笔记本接口
- 包含可执行代码的交互式文档、该代码的描述性文本以及运行的任何代码的结果。
- 对象存储
- 用于存储云中的数据的方法，其中数据存储在存储池或对象中，它们不使用文件层次结构但存储相同级别的所有对象。
- OpenShift Container Platform 集群
- 组物理计算机，其中包含构建和运行容器化应用所需的控制器、Pod、服务和配置。
- 持久性存储
- 在组件间保留文件、模型或其他工件（如模型部署、数据科学管道和工作台）的持久性卷。
- 持久性卷声明(PVC)
- 持久性卷声明(PVC)是用户在集群中存储的请求。
- 量化
- 压缩基础模型权重的方法，以加快推断和减少内存需求。
- serving
- 将受培训机器学习模型托管为网络可访问的服务的过程。真实的应用程序可以使用 REST 或 gRPC API 向服务发送 inference 请求，并接收预测。
- ServingRuntime
- 定义(CRD)为一个或多个特定模型格式提供服务的 pod 模板的自定义资源定义(CRD)。每个 ServingRuntime CRD 都定义了关键信息，如运行时的容器镜像以及运行时支持的模型格式列表。运行时的其他配置设置可以通过容器规格中的环境变量实现。它还根据需要从磁盘动态加载和卸载模型到内存中，并公开 gRPC 服务端点，以推断到加载的模型的请求。
- vLLM
- 一个高吞吐量且高效的 inference 引擎，用于运行与流行模型和框架集成的大型语言模型。
- 工作台
- 用于开发和使用 ML 模型的隔离环境。工作台通常包含集成开发环境(IDE)，如 JupyterLab、RStudio 和 Visual Studio Code。
- workbench 镜像
- 镜像，包括模型开发所需的预安装工具和库。包括用于开发机器学习(ML)模型的 IDE。
- YAML
- 人类可读的数据序列化语言。它通常用于配置文件和传输数据的应用程序中。
'%20d='M201.5%20305.5c-13.8%200-24.9-11.1-24.9-24.6%200-13.8%2011.1-24.9%2024.9-24.9%2013.6%200%2024.6%2011.1%2024.6%2024.9%200%2013.6-11.1%2024.6-24.6%2024.6zM504%20256c0%20137-111%20248-248%20248S8%20393%208%20256%20119%208%20256%208s248%20111%20248%20248zm-132.3-41.2c-9.4%200-17.7%203.9-23.8%2010-22.4-15.5-52.6-25.5-86.1-26.6l17.4-78.3%2055.4%2012.5c0%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.3%2024.9-24.9s-11.1-24.9-24.9-24.9c-9.7%200-18%205.8-22.1%2013.8l-61.2-13.6c-3-.8-6.1%201.4-6.9%204.4l-19.1%2086.4c-33.2%201.4-63.1%2011.3-85.5%2026.8-6.1-6.4-14.7-10.2-24.1-10.2-34.9%200-46.3%2046.9-14.4%2062.8-1.1%205-1.7%2010.2-1.7%2015.5%200%2052.6%2059.2%2095.2%20132%2095.2%2073.1%200%20132.3-42.6%20132.3-95.2%200-5.3-.6-10.8-1.9-15.8%2031.3-16%2019.8-62.5-14.9-62.5zM302.8%20331c-18.2%2018.2-76.1%2017.9-93.6%200-2.2-2.2-6.1-2.2-8.3%200-2.5%202.5-2.5%206.4%200%208.6%2022.8%2022.8%2087.3%2022.8%20110.2%200%202.5-2.2%202.5-6.1%200-8.6-2.2-2.2-6.1-2.2-8.3%200zm7.7-75c-13.6%200-24.6%2011.1-24.6%2024.9%200%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.1%2024.9-24.6%200-13.8-11-24.9-24.9-24.9z'/%3e%3c/svg%3e){kind=small}