GB／T 42018-2022 标准规范下载简介

GB／T 42018-2022 信息技术 人工智能 平台计算资源规范.pdf

推理inference 计算机根据已知信息进行分析、分类或诊断，做出假设，解决问题或者给出推断的过程。 注：人工智能领域的推理包括逻辑推理、机器学习推理等。 [来源：GB/T5271.28—2001,28.01.11,有修改

UART：通用异步收发传输器（UniversalAsynchronousReceiverTransmitter） USB.通用串行总线（UniversalSerialBus）

本文件描述的人工智能平台计算资源包括物理计算资源和虚拟计算资源，物理计算资源是指计算 设备实体，包含人工智能服务器、人工智能加速卡、人工智能加速模组等。人工智能平台参考架构见 图1。在提供人工智能服务时，通常需要管理及调度这些资源，对资源管理和调度的要求不在本文件规 定的范围内

架构，不属于本文件规定的范畴

限构WB/T 1111-2021 汽车零部件托盘包装的打包要求，不属于本文件规定的范

图1人工智能平台参考架构

人工智能服务器，因其应用目标和构成的差异，分为人工智能训练服务器和人工智能推理服务器。 相应的技术要求和测试方法见6.1.1.1和7.2.1，及6.1.1.2和7.2.2。对同时具备训练和推理功能的人工 智能服务器，在考察训练或推理相关要求时，分别适用人工智能训练服务器或人工智能推理服务器要求 和测试方法。人工智能加速卡包含训练加速卡和推理加速卡，相关技术要求和测试方法见6.1.2.1和 7.2.3，及6.1.2.2和7.2.4。常见的人工智能加速模组用于推理场景，本文件仅对人工智能加速模组提出 面向推理的技术要求和测试方法，见6.1.3和7.2.5。本文件提出的技术要求和测试方法对应关系见附 录A。 虚拟计算资源是基于实体计算资源，经过抽象并在一定程度上屏蔽异构性后，形成的逻辑计算资

原。相关基础技术要求见6.2。虚拟计算资源的测试 源不是人工智能系统实现的必要部分，计算资源的调度、人工智能服务等，可直接由物理计算 是供。 图1是人工智能平台参考架构，实际实现时，可按需选取搭配组件

6.1.1人工智能服务器

1) INT4; 2) INT8; INT16; 3 4） FP16; 5） FP32。 ) 通过集成人工智能加速处理器的方式提供人工智能计算加速时： 1）宜提供不小于16TFLOPS(或16TOPS)计算能力； 2）宜支持人工智能加速器直出参数面网口或芯片间互联

5.1.1.2人工智能推理服务器

对用作人工智能平台推理资源的人工智能服务器的要求如下。 a）应符合6.1.1.1中a)、b)、c)的规定。 宜配备32位或64位多核x86或ARMCPU。 宜配备三级缓存，容量不宜低于16MB。 d） 宜支持DDR4及以上版本的内存。 e 宜兼容PCle4.0及更低版本的PCIe协议。 宜能连接并使用25GE、10GE、GE等接口。 宜能通过自带固件，如通过BMC等，或其他外接部件监控系统参数。 h） 宜具备图像、视频预处理模块。 应能执行以下至少一种场景模型的推理，包含但不限于： 1）计算机视觉； 2）自然语言处理； 3）声音处理。 宜支持i)1)、i)2)和i)3)场景模型的推理。 K 应支持下列一种或多种精度实施推理： 1） INT4; 2） INT8; 3） INT16; 4） FP16; 5） FP32。

6.1.2人工智能加速卡

GB/T42018—2022

6.1.2.2人工智能推理加速卡

6.1.3人工智能加速模

加速模组作为人工智能平台推理资源，符合以下要求。 a）应含有至少1个人工智能加速处理器，支持乘加运算加速。 应支持至少一种计算精度，如FP16、INT8等。 应配备连接器或接口，如USB、BTB连接器等。 d）宜能以FP16或INT8精度执行计算任务。 e）宜兼容LPDDR4X协议，位宽不宜小于64bit，容量不官小于4GB。

虚拟计算资源要求如下。 应具备虚拟化的CPU。 b）应具备一种以上虚拟化的人工智能加速处理器，如NPU、GPU等 c）应能实时监控资源状态。 d）宜能以基于容器的方式，管理异构资源。 e）宜支持资源池内CPU和人工智能加速处理器间的不同配比。 f）宜支持基于角色的权限访问控制。 g）宜能自动发现和维护计算资源。 h）宜支持服务器系统与其运行应用的绑定。 宜提供资源故障告警、检测和还原的功能。 宜能使用硬件节能功能，包括资源回收、关闭和休眠。 k）宜支持资源注册、使用、配额管理和操作审计。 D 宜支持虚拟CPU和虚拟人工智能加速处理器的互操作。 m）应支持至少一种深度学习或机器学习框架。 应能执行以下至少一种场景模型的推理和训练，包含但不限于： 1）计算机视觉； 2）自然语言处理； 3）声音处理。 o）宜能训练和推理n)1)、n)2)和n)3)中全部类型场景的模型。

GB/T42018—2022

对本文件第6章中的要求，测试环境应符合GB/T9813.3一2017中5.1的要求，

7.2.1人工智能训练服务器

人工智能训练服务器的测试中测试方法与技术要求的对应关系见附录A，按以下操作实施。测试 配置见附录B。 a）在人工智能服务器上安装操作系统和机器学习软件框架。 b）利用框架提供的API，编制脚本，完成张量初始化、张量乘加操作，输出结果。 c）执行操作系统命令，查询输出CPU体系架构，输出CPU状态数据。 d）执行操作系统命令，查询输出各级缓存的容量。 e） 执行操作系统命令，查询输出内存协议（如DDR3，DDR4）、容量及带宽（在执行测试前，应安置 相应内存，并记录内存容量）。 执行操作系统命令，查询输出SSD、SATA及NVMe协议的支持情况（在执行测试前，应安置 相应存储媒体）。执行系统命令，在目标存储媒体上创建、打开、关闭和删除文件。将RAID设 备与人工智能训练服务器连接，配置形成RAIDO（至少包含两块存储媒体），命令训练服务器 读取其存储媒体上的特定数据（测试前预先存放），写入RAIDO阵列，用时为TL1。完成后，仅 保留RAIDO阵列中的一块存储媒体，移除其他存储媒体，重复相同数据的读出和写人操作，用 时为TL2。比较TL1与TL2的大小，TL1应不大于TL2。 g）执行操作系统命令，输出系统使用的PCIe协议版本。 h）外接USB3.0闪存盘，复制闪存盘内预先制备的文件（不小于1GB)到被测系统的存储媒体 上，获得平均速率（测试时，应使用USB3.0配套的连接线缆）。 D 使用6.1.1.1m)规定协议配套的路由器或交换机，连接被测系统及测试辅助通用服务器，从通 用服务器使用TCP协议发送文件（不小于10GB)到被测系统，获得链路层平均传输速率（测 试时，应使用相应的连接线缆）。 i）在a)的基础上，调用图像、视频预处理命令，输出结果。 k）在a)的基础上，应符合附录C的规定，为每个模型编制训练脚本（控制训练过程精度为INT4、 INT8、INT16、FP16或FP32)，并配置数据集。 在k)完成后，由实验过程控制组件，对每个模型，发送训练开始指令，并计时，直到被测人工智 能训练服务器输出训练结果模型时，结束计时，完成一次训练，训练时间为两次计时的差，记为 T1。对于不使用CPU加速训练过程的人工智能服务器，关闭人工智能训练加速部件（或使用 计算能力等同的通用服务器），完成一次训练，并计时，训练时间为T。 m）在1)执行中，调用被测人工智能服务器提供的监控命令，获取CPU运行状态，如每个CPU的 启用、禁用状态，利用率等。 n）检查设备外观及构造，确认网口存在，执行操作系统命令，查询输出物理网口信息，使用网口接 人本地交换机，针对附录C中的任一负载，完成分布式训练。 ） 在服务器固件中设置ECC为开启状态，检查ECC是否工作正常，或检查服务器生产者提供的

GB/T 420182022

测试过程记录。 P 在1)执行中，调用系统监控功能（通过操作界面或命令行），显示、记录或打印系统运行状态（包 含如，CPU个数、核数、利用率、冷却设备状态、存储媒体利用状态、固件工作状态、开机启动选 项、网络连接状态、功率等）。 Q）检查设备标称计算能力，

2.2人工智能推理服务

人工智能推理服务器的测试中测试方法与技术要求的对应关系见附录A，按以下操作实施。测试 统配置见附录B。 a）在人工智能推理服务器上安装操作系统。 b）在推理服务器需配合机器学习框架完成推理时，在服务器上安装机器学习软件框架。 执行7.2.1c)规定的操作。 d 执行7.2.1d）规定的操作。 e） 执行7.2.1e）规定的操作。 执行7.2.1g）规定的操作。 g）使用6.1.1.2f)规定接口配套的路由器或交换机，执行7.2.1i)规定的操作。 h）在a)的基础上，调用图像、视频预处理命令，输出结果。 i 在a)的基础上，应符合附录C的规定，为每个模型，配置测试数据集，编译并安置推理模型（控 制推理过程精度为INT4、INT8、INT16、FP16或FP32）。 i）在i)完成后，由实验过程控制组件，对每个模型，发送开始指令，并计时，直到被测人工智能推 理服务器输出全部推理结果时，结束计时，完成一轮推，推理总时间记为T3。对于不使用 CPU加速推理过程的人工智能服务器，关闭人工智能加速部件（或使用计算能力等同的通用 服务器），完成一轮推理，记录用时为T4。 k）在i)执行中，调用被测人工智能服务器提供的监控命令，应能获取系统运行状态，包含但不限 全.CPU利用率，照时或平均功率，

7.2.3人工智能训练加速卡

GB/T420182022

服务器时，宜使用本地文件，模拟视频流。被测服务器完成解码，并将解码后的文件保存在被 测系统本地，并向测试过程控制组件发送结果： 1）选用16路4K视频时，使用4台服务器，每台发送4路； 2）选用64路FHD视频时，使用8台服务器，每台发送8路。 i）使用路由器、交换机连接16台服务器，向被测系统发送FHD图像数据（图像格式符合 GB/T17235.1一1998的规定），每台发送顿率不小于120FPS。被测服务器完成解码，并将解 码后的文件发送至实验过程控制组件。 ： 使用路由器、交换机连接8台服务器，向被测系统发送FHD图像数据（图像格式符合ISO/ IEC15948：2004的规定），每台发送顿率不小于25FPS。被测服务器完成解码，并将解码后的 文件发送至实验过程控制组件。 k）：使用路由器、交换机连接8台服务器，向被测系统发送FHD图像数据（图像格式符合 GB/T17235.1一1998的规定），每台发送顿率不小于30FPS，被测服务器完成编码，并将编码 后的文件发送至实验过程控制组件。 设置ECC为开启状态，检查ECC是否工作正常，或检查生产者提供的测试过程记录

7.2.4人工智能推理加速卡

GB/T42018—2022

7.2.5人工智能加速模组

虚拟计算资源测试方法由产品标准给出。

GB/T42018—2022

人工智能平台物理计算资源测试方法与技术要求的对应关系 人工智能训练服务器的测试方法与技术要求的对应关系见表A.1，人工智能推理服务器的测试方 法与技术要求的对应关系见表A.2，人工智能训练加速卡的测试方法与技术要求的对应关系见表A.3， 人工智能推理加速卡的测试方法与技术要求的对应关系见表A.4，人工智能加速模组的测试方法与技 术要求的对应关系见表A.5。

表A.2人工智能推理服务器测试方法与技术要求对应关系

人工智能训练加速卡测试方法与技术要求对应关

人工智能推理加速卡测试方法与技术要求对应关

表A.5人工智能加速模组测试方法对应关系

GB/T420182022

表A.5人工智能加速模组测试方法对应关系（续）

B.1人工智能服务器测试系统配置

人工智能服务器的测试系统配置见图B.1

附录B （资料性） 物理计算资源测试系统的配置

图B.1人工智能服务器物理计算资源的测试配置

人工智能服务器物理计算资源的测试配置说明如下： a）被测系统为人工智能训练服务器或人工智能推理服务器； b）测试过程控制组件安置、运行于被测系统内； c）作业发生器使用测试数据，形成人工智能作业，如使用特定数据集的训练或推理任务等，计算 结果对照组件，对比返回的结果与预期值； 注：预期值指被测系统在正常工作时，正确、完整执行特定任务的结果数据或状态参数值。 d）人工智能计算部件和组件，包含执行人工智能测试任务的加速部件，如加速卡、加速器等，和必 要的软件组件，如操作系统，加速库和软件框架等； 测试辅助仪器包含但不限于：闪存盘、加速卡、功率计、存储媒体（如SSD、SATA存储媒体 等）、RAID卡、交换机、通用服务器、必要的连接线缆和电源； 测试数据，来自被测系统外部，在测试前可预先安置在被测系统内，供测试使用

B.2人工智能加速卡测试系统配置

人工智能加速卡的测试系统配置见图B.2。

人工智能加速卡物理计算资源的测试配置说明如下： a）被测系统为人工智能加速卡，安置在人工智能服务器内。实施对特定加速卡的测试时，人工智 能服务器内其他人工智能加速部件不应开启； b）测试过程控制组件安置、运行于服务器内； c）作业发生器使用测试数据，形成人工智能作业，如使用特定数据集的训练或推理任务等，计算 结果对照组件，对比返回的结果与预期值； 注：预期值指被测系统在正常工作时，正确、完整执行特定任务的结果数据或状态参数值。 d）人工智能计算部件和组件，包含执行人工智能测试任务的加速部件，如加速卡、加速器等和必 要的软件组件，如操作系统，加速库和软件框架等； e）测试辅助仪器包含但不限于：加速卡、功率计、存储媒体（如SSD、SATA存储媒体等）、RAID 卡、交换机、通用服务器、必要的连接线缆和电源； )测试数据，来自被测系统外部，在测试前可预先安置在被测系统内，共测试使用

人工智能加速卡物理计算资源的测试配置说明如下： a）被测系统为人工智能加速卡，安置在人工智能服务器内。实施对特定加速卡的测试时，人工智 能服务器内其他人工智能加速部件不应开启； b）测试过程控制组件安置、运行于服务器内； c）作业发生器使用测试数据，形成人工智能作业，如使用特定数据集的训练或推理任务等，计算 结果对照组件，对比返回的结果与预期值； 注：预期值指被测系统在正常工作时，正确、完整执行特定任务的结果数据或状态参数值。 d）人工智能计算部件和组件，包含执行人工智能测试任务的加速部件，如加速卡、加速器等和必 要的软件组件，如操作系统，加速库和软件框架等； e）测试辅助仪器包含但不限于：加速卡、功率计、存储媒体（如SSD、SATA存储媒体等）、RAID 卡、交换机、通用服务器、必要的连接线缆和电源； ）测试数据，来自被测系统外部，在测试前可预先安置在被测系统内，共测试使用

DB31T 72-2020 工业锅炉运行检测与控制装置的配置B.3人工智能加速模组系统配置

人工智能加速模组的测试系统配置见图B.3

B.3人工智能加速模组物理计算资源的测试配

人工智能加速模组物理计算资源的测试配置说明如下： 被测系统为人工智能加速模组，以6.1.3g）、6.1.3h)或6.1.3c)规定的连接方式，接人测试辅助 环境； b）被测系统测试辅助仪器包含但不限于：功率计、电源、连接器公坐、连接线缆及其他必要的能使 人工智能加速模组运行并实施参数计量的软硬件； c）测试系统是一台或多台服务器，并配备了测试过程控制组件； d）测试数据，来自被测系统外部，在测试前预先安置在测试系统内，共测试使用

表C.1计算机视觉模型

WH/T 84-2019 信息与文献 公共图书馆影响力评估的方法和流程表C.2直然语盲处理模型

表C.3声音处理模型