标准规范下载简介
GB／T 38676-2020 信息技术 大数据 存储与处理系统功能测试要求.pdfICS35.240 L67
国家市场监督管理总局 发布 国家标准化管理委员会
范围 规范性引用文件 术语和定义 缩略语 概述 大数据存储子系统的功能测试要求 6.1基本功能的测试要求 6.2分布式文件存储的功能测试要求 6.3分布式结构化数据存储的功能测试要求 6.4分布式列式数据存储的功能测试要求 6.5 分布式图数据存储的功能测试要求 大数据处理子系统的功能测试要求 基本功能的测试要求 批处理框架的功能测试要求 7.3流处理框架的功能测试要求 7.4 图计算框架的功能测试要求 .5 内存计算框架的功能测试要求 7.6批流融合计算框架的功能测试要求
范围 规范性引用文件 术语和定义 缩略语 概述 大数据存储子系统的功能测试要求 6.1基本功能的测试要求 6.2分布式文件存储的功能测试要求
JTS 235-2016 水运工程水工建筑物原型观测技术规范本标准按照GB/T1.1一2009给出的规则起草 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。 本标准由全国信息技术标准化技术委员会（SAC/TC28）提出并归口。 本标准起草单位：华为技术有限公司、中国电子技术标准化研究院、上海计算机软件技术开发中心、 新华三技术有限公司、浪潮电子信息产业股份有限公司、深圳市金蝶天燕云计算股份有限公司。 本标准主要起草人：赵华、符海芳、卫凤林、张群、李瑛、陈敏刚、陈文捷、潘子健、李永平、赵江、林琳
信息技术大数据 存储与处理系统功能测试要求
本标准规定了大数据存储与处理系统的基本功能、分布式文件存储、分布式结构化数据存储、分布 式列式数据存储、分布式图数据存储、批处理框架、流处理框架、图计算框架、内存计算框架和批流融合 计算框架的测试要求。 本标准适用于大数据存储与处理系统的测试
下列文件对于本文件的应用是必不可少的。 凡是注日期的引用文件，仅注日期的版本适用于本文 件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 GB/T37722—2019信息技术大数据存储与处理系统功能要求
GB/T37722一2019界定的术语和定义适用于本文
下列缩略语适用于本文件。 API：应用程序接口（ApplicationProgrammingInterlace） CPU：中央处理器（CentralProcessingUnit) DAG：有向无环图（DirectedAcyclicGraph） GPU：图形处理器（GraphicsProcessingUnit) MPI：消息传递接口（MessagePassingInterface） SQL：结构化查询语言（StructuredQueryLanguage）
6大数据存储子系统的功能测试要求
大数据存储子系统基本功能的测试要求如下！
a 应测试大数据存储子系统是否能对文件、图等数据进行上传和下载的操作； 应测试大数据存储子系统是否能对目录进行创建、查看、权限修改、删除等操作； 应测试大数据存储子系统能否通过API调用对文件、对象、图等数据进行查询、修改、删除、增 加等操作； d 应测试大数据存储子系统能否通过开源或商业工具提供系统与传统关系型数据库之间交换数 据和文件； C 应测试大数据存储子系统能否通过开源或商业工具提供系统与其他文件系统（如ext2等）之 间交换数据和文件； 应构造一个关键节点故障，验证大数据存储子系统中的数据读写是否正常： g 应测试大数据存储子系统能否通过界面/工具/命令行方式完成自动或手动备份。自动备份需 配置相应的参数，如备份周期、备份数等； h） 应对大数据存储子系统中存在的结构化数据、半结构化数据、非结构化数据执行批量更新、批 量删除等操作，测试操作是否正常执行； 1） 应测试大数据存储子系统能否从消息队列读取数据，并将计算结果实时写入数据库： J 应测试大数据存储子系统能否将数据采集到实时检索平台，并根据索引主键进行实时查询。 注：本条的测试要求对应GB/T37722一2019中6.1的要求。
6.2分布式文件存储的功能测试要求
分布式文件存储的功能测试要求如下： a）应测试大数据存储子系统能否进行文件上传、下载、读写、复制、移动、删除、访问控制等操作； b）应测试大数据存储子系统能否对文件进行多副本备份，并能通过副本恢复出原始数据； 应测试大数据存储子系统节点/软件发生故障时，如断电、数据节点失效等，不影响系统及业务 的正常运行； d） 应通过对副本文件进行写操作，然后查看块校验文件，验证副本文件所在节点的块校验文件 相同； e） 应测试删除节点前，单个数据节点先退出服务集群，集群数据重新分布，数据无损，业务不 中断； 应验证增加节点后，节点加入集群，系统数据重新分布，业务无中断： 应测试按照已配置的压缩、加密算法，对数据进行压缩、加密和解密，原始数据无损坏和丢失； h） 应测试大数据存储子系统能否对文件数据进行统一检索、编目、增加和删除操作： 1） 应测试大数据存储子系统能否通过命令或图形化界面对文件进行搜索、批量操作（创建/删除 等）、文件删除后进人回收站、（创建/删除/查询等）快照操作； 应测试大数据存储子系统能否根据配置的文件阈值，将存储系统中的小文件打包成大文件进 行存储； k）应测试大数据存储子系统能否根据目录存储空间大小以及文件数量，对写文件设置最高上限 注：本条的测试要求对应GB/T37722—2019中6.2的要求。
分布式结构化数据存储的功能测试要求如下： a 应通过向大数据存储子系统中导人结构化数据，测试在数据节点上能否看到块数据分布在不 同的节点上； b） 应测试大数据存储子系统能否支持通过API调用对结构化数据进行查询操作，包括：元数据、 业务数据等；
应通过创建多张表，进行表之间的关联，测试大数据存储子系统能否通过规则过滤等方式查询 到某张表中的数据； 1 应通过导入数据，测试数据所在节点的块校验文件是否相同； 应通过导人多行多列的数据，创建表进行映射关联，测试是否可以按行按列进行数据查询； 应通过导人多行多列的数据，创建表进行映射关联，进行行列转换，测试行数据与列数据能否 进行转换。 主：本条的测试要求对应GB/T37722—2019中6.3的要求
6.4分布式列式数据存储的功能测试要求
分布式列式数据存储的功能测试要求如下： 应通过创建表，写人数据，测试数据能否以键值形式存储在大数据存储子系统中。 应分别对表、列族和列设置用户权限，包括读、写、创建等，测试相应用户能否对表、列族和列进 行创建、读、写等操作。 应通过对指定列进行加密，创建表，写人数据。测试表的属性是否是列加密状态，数据是否是 非明文存储， 应测试大数据存储子系统能否对数据库对象包括：表、索引、函数、触发器等进行备份和恢复； 测试数据备份和恢复任务的进展和历史记录。 应通过批量导人数据，导人时创建二级索引，测试大数据存储子系统能否通过索引查询到导人 的数据。 应通过构造多张表，导入数据，测试大数据存储子系统根据关联规则/关系合并后的表内容与 预期是否一致。 注：本条的测试要求对应GB/T37722一2019中6.4的要求。
6.5分布式图数据存储的功能测试要求
分布式图数据存储的功能测试要求如下： a）应通过定义图数据模型，上传数据文件和图规则映射文件，测试查询到的图数据与定义的数据 模型是否一致； b）应通过写入/导人图数据，测试能否对图数据进行查询、遍历、分析操作； c）应测试大数据存储子系统能否通过图数据库开发接口进行元数据管理、图数据管理等操作； d）应通过写入/导入图数据，数据间存在多层关系，测试大数据存储子系统能否对数据进行单节 点、多节点的扩线查询； 应通过设置最短路径/最优路径模型，写人/导人图数据，测试搜索结果是否符合最短路径/最 优路径算法； 应测试大数据存储子系统能否对图数据顶点、属性的数据执行继承操作； g）应通过创建异步会话任务，测试任务状态是否为长任务。 注：本条的测试要求对应GB/T37722—2019中6.5的要求。
7大数据处理子系统的功能测试要求
7.1基本功能的测试要求
大数据处理子系统基本功能的测试要求如下： a）应通过提交多个任务GBT 50476-2019 混凝土结构耐久性设计标准，测试任务是否可以在异构（包含CPU、内存、GPU)的系统上部署，且 源均衡调度：
7.2批处理框架的功能测试要求
批处理框架的功能测试要求如下： 应通过创建结构化、非结构化类型数据，对数据进行建表，测试批处理框架能否对创建的表进 行离线分析； 6 应通过提交一个离线任务，测试图形化界面能否查看离线计算任务进度与状态； 应在分布式计算环境上，测试大数据处理子系统能否执行批处理任务； 1 应测试大数据处理子系统能否使用多种语言开发接口进行分析任务，例如Python、Java等； 应通过创建多个任务，设置任务之间依赖关系，测试任务能否按照依赖关系顺序执行； 应通过创建分布式任务，测试任务能否在多节点分布、并行执行，任务执行完成后，结果能否进 行聚集； g）应通过提交分布式任务，测试任务申请资源是否正常，任务执行是否成功。 主：本条的测试要求对应GB/T37722一2019中7.2的要求
7.3流处理框架的功能测试要求
流处理框架的功能测试要求如下： a 应测试大数据处理子系统从消息队列获取实时消息，对数据进行高吞吐、低延迟的实时计算 后，再将结果数据写人消息队列操作； b） 应通过创建消息处理任务，测试用户能否对任务进行浏览、中止、激活、去激活等操作；所有操 作记录是否在审计日志中； c） 应通过创建滑动窗口方式的实时分析任务，测试窗口大小、滑动步长是否可调节：
），测试流处理服务是否正常、无中断； 应通过创建消息处理任务，在消息处理过程中构造节点、进程等异常GTCC-109-2019 受电弓碳基复合材料滑板-铁路专用产品质量监督抽查检验实施细则，测试异常节点上的消 是否会重分布到其他正常节点、进程进行处理。 主：本条的测试要求对应GB/T37722—2019中7.3的要求