GB∕T 38673-2020标准规范下载简介
GB∕T 38673-2020 信息技术大数据系统基本要求.pdfICS35.240 L.67
logyBigdataBasicrequirements
【完整版-含条文说明】JGJ 130-2011 建筑施工扣件式钢管脚手架安全技术规范.pdfGB/T 386732020
本标准按照GB/T1.1一2009给出的规则起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。 本标准由全国信息技术标准化技术委员会（SAC/TC28)提出并归口。 本标准起草单位：中国电子技术标准化研究院、华为技术有限公司、北京大学、中国人民大学、中兴 通讯股份有限公司、浪潮电子信息产业股份有限公司、阿里云计算有限公司、天津南大通用数据技术有 限公司、北京百分点信息科技有限公司、复旦大学、南京大学、东南大学、北京和仲宁信息技术有限公司、 北京启迪区块链科技发展有限公司。 本标准主要起草人：梅宏、孙文龙、杜小勇、吴东亚、董建、张群、尹卓、许洁、李冰、李瑛、高琨、朱松、 赵江、张展新、梁佳男、赵俊峰、符海芳、卫凤林、孙嘉阳、赵菁华、陈晋川、刘海军、孙伟、姜育刚、周志华、 张敏灵，
本标准按照GB/T1.1一2009给出的规则起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。 本标准由全国信息技术标准化技术委员会（SAC/TC28)提出并归口。 本标准起草单位：中国电子技术标准化研究院、华为技术有限公司、北京大学、中国人民大学、中兴 通讯股份有限公司、浪潮电子信息产业股份有限公司、阿里云计算有限公司、天津南大通用数据技术有 限公司、北京百分点信息科技有限公司、复旦大学、南京大学、东南大学、北京和仲宁信息技术有限公司 北京启迪区块链科技发展有限公司。 本标准主要起草人：梅宏、孙文龙、杜小勇、吴东亚、董建、张群、尹卓、许洁、李冰、李、高琨、朱松 赵江、张展新、梁佳男、赵俊峰、符海芳、卫凤林、孙嘉阳、赵菁华、陈晋川、刘海军、孙伟、姜育刚、周志华 张敏录
本标准规定了大数据系统的功能要求和非功能要求。 本标准适用于各类大数据系统要求的设计、选型、验收和检测
信息技术大数据 大数据系统基本要求
下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文 件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 GB/T352952017信息技术大数据术语 GB/T35589一2017信息技术大数据技术参考模型
下列缩略语适用于本文件。
列缩略语适用于本文件。
GB/T 386732020
GB/T35589一2017定义了大数据参考架构，如图1所示。大数据参考模型是一个通用的大数 概念模型，它表示了通用的、与技术无关的大数据系统的逻辑功能构件及构件之间的互操作接口 开发各种具体类型大数据应用系统架构的通用技术参考框架。
本标准参考大数据参考架构逻辑功能构件划分，将大数据系统划分为数据收集、数据预处理、数 、数据处理、数据分析、数据访问、数据可视化、资源管理、系统管理9个模块。大数据系统框架 所示。
数据收集模块要求如下： a）应提供数据导人功能，支持结构化数据、非结构化数据和半结构化数据导人； b）应支持离线数据导人和实时数据导； C 应支持全量数据导人和增量数据导人； d）应提供自动定时导人数据功能； e 宜提供开放的数据导人API； f) 宜提供图形界面实现数据导入功能
数据预处理模块要求如下： a）应提供数据抽取功能，支持对结构化数据、非结构化数据和半结构化数据进行抽取 b）应提供数据清洗功能，支持对不一致数据、无效数据、缺失数据和重复数据的处理； c）应提供结构化数据的列转换、行转换和表转换功能； d) 应提供数据加载功能，支持将经过清洗和转换的数据加载到数据分析模块； e）宜提供清洗前后的数据比对功能； f 宜支持非结构化数据的数据转换功能。
数据存储模块要求如下： a）应提供数据存储功能，支持结构化数据、非结构化数据和半结构化数据存储。 b）应提供与关系型数据库、其他文件系统之间交换数据或文件的功能。 c）支持分布式文件存储，实现以下功能：
1）应支持文件系统基本操作，包括上传、下载、读写、复制、移动、删除、重命名、权限修改 2） 应提供数据块多副本存储、恢复功能； 3） 宜支持文件快速检索功能，支持数据资源的统一检索、编目、增加和删除操作； 4） 宜支持数据压缩存储功能。 d）支持分布式列式数据存储，实现以下功能： 1）应支持以键值形式存储数据的功能； 2）宜支持基于表、列族和列的用户权限管理功能，权限管理操作包括读、写、创建等。 e 支持分布式结构化数据存储，实现以下功能： 1）宜支持结构化数据的分布式存储，保证数据存储的可扩展性和一致性； 2）： 宜提供API实现数据的各类查询操作； 3） 宜支持多表关联。 f）支持分布式图数据存储，实现以下功能： 1）宜支持由节点及边组成的数据模型； 2）宜支持图查询，支持单节点、多节点多层关系的扩线查询； 3）宜支持图遍历，支持最短路径、最优路径遍历查询； 4）宜支持图分析
g）宜支持以有向无环图形式描述作业内多任务的依赖关系。 h）宜提供对复杂任务的调度能力
可视化模块要求如下： a）应支持使用常规图表展示数据，如表格、柱状图、饼图、折线图、热力图等； b）宜支持第三方数据可视化工具的API
数据访问模块应支持相应的 序使用大数据系统的数
方问模块应支持相应的访问接口，以便于第三方应用程序使用大数据系统的数据。
资源管理模块要求如下： a）应提供CPU、内存等资源的调度和配置功能； b） 应提供对全局资源的集中管理功能； 应支持静态资源分配策略和动态资源分配策略； d 应支持资源的弹性与抢占，即有空闲资源时，租户可使用超过其配置上限的资源，系统繁忙时 若租户使用的资源未达到其原始配置，则可抢占其他租户使用资源的超出部分； e 宜提供设置任务优先级的功能，并按任务优先级对资源进行调度； 宜支持多层次的队列资源管理，队列资源实现隔离，即不为队列分配超过其资源上限的资源； g) 宜提供根据作业需求动态分配计算资源，自动管理回收资源功能。
系统管理模块要求如下： 应提供配置管理功能，包括对大数据集群软硬件资源的配置管理，支持配置管理的分角色、分 组管理及自动化； 6 应提供租户管理功能，包括租户的角色、权限、资源等功能； ） 应提供监控告警管理功能，包括多维度、可视化的大数据系统的监控、告警等； d 应提供服务管理功能，包括对大数据系统组件服务的管理； 宜提供健康检查管理功能，支持以图形界面方式实现集群健康检查，
系统管理模块要求如下： 应提供配置管理功能，包括对大数据集群软硬件资源的配置管理，支持配置管理的分角色、分 组管理及自动化； b） 应提供租户管理功能，包括租户的角色、权限、资源等功能； c） 应提供监控告警管理功能，包括多维度、可视化的大数据系统的监控、告警等； d） 应提供服务管理功能，包括对大数据系统组件服务的管理； e）宜提供健康检查管理功能，支持以图形界面方式实现集群健康检查
高可用要求如下： a) 应提供系统自动故障探测及管理功能； b) 应确保系统组件不存在单点故障风险； 集群任意节点发生故障时，不应出现服务中断、数据丢失或数据不一致的情况； 集群任意单元发生故障时，系统操作应不受影响； e）应保证系统长期无故障不间断运行。
高可用要求如下： a）应提供系统自动故障探测及管理功能； b）应确保系统组件不存在单点故障风险； c）集群任意节点发生故障时，不应出现服务中断、数据丢失或数据不一致的情况； d）集群任意单元发生故障时，系统操作应不受影响； e）应保证系统长期无故障不间断运行
7.1.2数据穴余存储与分布
数据完余存储与分布要求如下：
GB/T386732020
a）应提供元数据 b）应提供基于分区 理分布的能力
7.1.3数据备份和恢复
数据备份和恢复要求如下： a）应提供分布式文件存储备份和恢复功能； b) 应提供分布式结构化数据存储备份和恢复功能； 应提供分布式列式存储备份和恢复功能； d）宜支持数据全量备份和增量备份； e）宜支持数据自动备份和手动备份
7.1.4故障恢复与迁移
故障恢复与迁移要求如下： a）任意节点发生故障后，系统应提供将修复后的节点接回系统的能力； b）故障恢复与迁移过程不应影响系统用户数据的完整性与一致性； c）故障恢复与迁移过程不应影响系统整体服务能力。
DELL厦门工业厂房施工组织设计.doc大数据系统应兼容不同品牌的操作系统
用户管理要求如下： a）应对登录用户进行身份标识和鉴别，保证用户身份标识唯一性； b）用户身份鉴别信息应满足一定的复杂度要求，并定期更换； c）应提供登录失败处理措施，如结束会话、限制非法登录次数、登录连接超时自动退出等措施
权限管理要求如下： a）应以系统组件为单位配置角色和用户； b）应按照权限最小化的原则为用户配置权限； c）应支持按照数据表级、数据列级的粒度为用户分配权限； d）应支持按照不同操作类型（如增、删、改、查，执行等）为用户分配权限
日志管理要求如下： a）应提供记录系统操作日志功能T∕CAGHP 001-2018 地质灾害分类分级标准（试行）.pdf，记录用户的重要操作； b）应保证系统操作日志无法删除、修改或被覆盖； c）操作日志应包括日期、时间、操作者信息、操作类型、操作描述和操作结果等； d）应提供对系统操作日志进行统计、查询、分析及生成报表的功能。
GB/T38673—2020
a）应提供数据存储加解密功能，支持数据库级数据加密； b）应提供系统敏感数据加密传输功能，并且加密密钥可被替换； c）宜支持数据列级的数据加密。