GBT 34079.3-2017标准规范下载简介

GBT 34079.3-2017 基于云计算的电子政务公共平台服务规范 第3部分数据管理

GB/T34079.3—2017

数据交换共享技术 10 11.1数据交换共享技术要求 10 11.2数据交换共享监控技术要求 10 2数据质量管理技术 11 12.1数据质量指标管理技术要求 11 12.2数据质量规则管理技术要求 11 12.3数据质量检测技术要求 12.4数据质量评估技术要求

YD／T 3280-2017 网络机柜用分布式电源系统1数据质量指标管理技术要求 2数据质量规则管理技术要求 3数据质量检测技术要求 4数据质量评估技术要求

GB/T34079《基于云计算的电子政务公共平台服务规范》预计分为以下5个部分： 一第1部分：应用分类； 第2部分：应用部署和数据迁移； 第3部分：数据管理； ——第4部分：应用服务； 一第5部分：移动服务。 本部分为GB/T34079的第3部分。 本部分按照GB/T1.1一2009给出的规则起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。 本部分由中华人民共和国工业和信息化部提出。 本部分由中华人民共和国工业和信息化部（通信）归口。 本部分起草单位：北京中海纪元数字技术发展股份有限公司、北京东方通科技股份有限公司、湖南 科创信息技术股份有限公司、南京莱斯信息技术股份有限公司、深圳市华傲数据技术有限公司、福建省 空间信息工程研究中心、东软集团股份有限公司、中国信息通信研究院、天津神舟通用数据技术有阳 公司。 本部分主要起草人：范小平、徐宝新、魏冰、肖国荣、赵刚、刘辉、贾一超、刘瑞虹、马亚中、冯晓帆 肖桂荣、马旭慧、关键、陈镜宇、聂秀英、吴嵩

GB/T34079.3—2017

电子政务发展正处于转变发展方式、深化应用和突出成效的关键转型期。政府职能转变和服务型 政府建设对电子政务发展提出了更新更高要求。以云计算为代表的新兴信息技术、产业、应用不断涌 现，深刻改变了电子政务发展的技术环境及条件。构建基于云计算的电子政务公共平台既可充分利用 已有资源，又可充分发挥新兴信息技术的潜能，加快电子政务发展创新，提高应用支撑服务能力，增强安 全保障能力，减少重复建设、避免各自为政和信息孤岛。 围绕基于云计算的电子政务公共平台对数据的采集、存储、集成、处理和服务等环节全过程数据管 理的需求，本部分在充分考虑电子政务公共平台数据管理核心要素的基础上，制定了数据管理中的采集 技术、存储技术、集成技术、处理技术、服务技术和数据管理支撑技术等全过程的数据管理技术体系，为 电子政务公共平台的服务提供机构、服务使用机构、服务评估机构及平台管理机构提供标准规范，为推 动政务数据在电子政务公共平台上的统一管理和规范服务提供参考，为电子政务应用中的数据完整性、 可靠性和可用性提供保障。 本部分的制定结合了云计算、大数据的管理技术特征，并兼顾、引导传统数据管理技术逐步演进为 基于云计算的数据管理技术，为政务数据的高效利用提供有力的支撑。

基于云计算的电子政务公共平台服务规范

GB/T34079的本部分规定了基于云计算的电子政务公共平台上和受电子政务公共平台管理的所 有政务数据的采集技术、存储技术、集成技术、处理技术和服务技术等五个环节的技术要求，以及数据管 理目录技术、数据交换共享技术和数据质量管理技术等三个通用支撑技术的要求。 本部分适用于基于云计算的电子政务公共平台的数据管理技术要求。 注：除非特殊说明，以下各章中“电子政务公共平台”均指“基于云计算的电子政务公共平台”

文件，仅注日期的版本适用于本文 件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 GB/T34078.1一2017基于云计算的电子政务公共平台总体规范第1部分：术语和定义

4078.1一2017界定的以及下列术语和定义均适

数据采集技术dataacquisition 依照电子政务公共平台服务使用机构的需求，从电子政务公共平台有效的数据源中获取和收集各 种形态数据的相关管理技术，包括数据源的发现与定位、数据采集与提取等相关技术。 3.1.2 数据集成技术dataintegration 把不同来源、不同格式、不同技术实现的数据，进行数据比对、数据清洗和数据整合等工作，在逻辑 上或物理上形成更为完整的数据集合所需的相关技术。

数据处理技术dataprocessing

为满足电子政务应用需求而提供的多种形式的技术手段，包括电子政务中常用的数据 数据展现服务等相关技术。

数据服务技术dataservice

将电子政务公共平台中的数据及其相关处理功能发布为服务的相关技术，包括服务发布、服务访 问、服务变更、服务监控等。

数据质量管理技术dataqualitymanagement

通过对数据质量指标、要素、规则等功能与性能的约定，规范电子政务公共平台的技术方法，为持续

GB/T34079.3—2017

不断提升数据服务质量提供保障。

元数据metadata

4XMPP可扩展通信和表示协议数据管理技术基本组成

本部分规定了电子政务公共平台数 及数据全过程管理技术体系，通过 规范数据管理核心要素，制定了数据管理中的数据采集技术、数据存储技术、数据集成技术、数据处理技

GB/T34079.3—2017

术和数据服务技术等五个过程环节的技术以及数据管理目录技术、数据交换共享技术和数据质量管理 技术等三个通用支撑技术的要求

5.1采集对象技术要求

5.2采集监控技术要求

5.3采集传输技术要求

本项要求包括： a）应支持电子政务公共平台上不同节点之间的可靠传输； b） 应支持HTTP/HTTPS/JMS、FTP、XMPP等多种传输通信协议；应提供IPv6协议的支持 能力； c）宜支持单点对单点，单点对多点传输实现方式； d) 应支持基于消息和文件的传输方式。消息传输应支持异步和同步消息传输机制，应支持低延 时（实时/准实时）、高并发的消息传输能力；应支持大规模文件传输和数据压缩、解压机制；

GB/T 34079.3—2017

GB/T 34079.32017

5.4采集统计技术要求

6.1存储调度技术要求

本项要求包括： a） 应支持存储调度，根据服务使用机构需要有计划的对存储节点的迁移、扩容、复制、更改、删除 等操作进行规划和自动执行； b）应提供智能化的存储资源调度管理策略，并能将这些基础资源合理、按需提供给服务使用机构 使用； c） 应提供满足不同任务需求的存储服务动态调度机制； d）应通过相应的权限和排队机制进行服务的调度处理，以平衡各类应用压力，优化资源的应用； e) 应提供让服务使用机构可以按任意的时间间隔（年、月、日、时、分、秒等）自动调度； 应支持副本调度策略。

6.2存储监控技术要求

本项要求包括： a）应可灵活配置数据监控内容及监控策略； b）应提供存储状态监控； 应提供监控、追踪和关联分布式文件系统的各部件运行过程中所执行的特定操作，应支持分布 式文件系统的运行时行为，支持直观了解和分析系统当前运行状况和执行过程，快速有效地定 位问题根源和系统设计中的问题； d)1 能够对运行在分布式计算框架中的作业任务进行监控； e） 应提供对分布式文件系统监控，监控信息应包括节点信息、文件/数据块信息及其历史操作和 排名等信息：

f）应提供对网络带宽和硬盘占用情况等物理资源性能指标的监控； g）数据存储监控应该能以服务方式提供

6.3存储管理技术要求

GB/T 34079.32017

本项要求包括： 应满足电子政务公共平台不同类型的服务使用机构需求，要求能为不同服务使用机构提供不 同级别的数据存放策略。应提供文件存储分级功能，如单机级、跨服务器级、跨机柜级以及跨 数据中心级； b）应为单个服务使用机构提供独立逻辑数据存储空间；为保证各服务使用机构之间的数据不可 见性，应在多服务使用机构之间采用数据隔离机制： c）应提供多种数据模型融合的功能，融合模型与模型复杂度无关； d）应提供自动分层和精简配置等提高存储效率的工具； e）应提供数据导入/导出和数据迁移等功能。

6.4存储备份技术要求

本项要求包括： a）应支持实例运行的容错机制。支持多实例并行运行，任一实例机不会影响应用可用性，系统 自动完成运行实例与数据的恢复； b) 应支持集中控制的数据备份，应对不同数据实例制定具体的数据备份策略； c）J 应支持系统提供错误监控机制，对于故障采取自动迁移，采用多份亢余备份来确保数据的安全 性，系统达到高可用性； d）应支持镜像备份； e）应支持灾难恢复和裸机恢复； f 应支持备份负载与应用程序分离； g） 应支持源端重复数据消重； h）应支持备份数据压缩存储； i) 应支持异地备份，

7.1数据抽取服务技术要求

本项要求包： a）应支持结构、半结构和非结构等不同类型的数据源的数据抽取，应支持主流安全可控的数据库 系统和数据仓库系统； b）支持全量抽取、增量抽取、基于日志的抽取等抽取模式，可支持地理空间信息数据抽取； c）应具备扩展能力，可以支持NoSQL等非关系数据库； d）数据抽取数据格式及抽取流程支持服务使用机构自定义配置

7.2数据转换服务技术要求

a）提供数据校验功能，如空值检测、长度检查、数值范围检查、正则表达式校验等； 提供数据表转换功能，如字段值替换、值映射、列转行、行转列、记录合并、记录排序、去除 记录等：

GB/T34079.32017

c）提供数据运算处理功能，如求和、最大值、最小值、平均值等； d）提供基于代码映射的自动转换功能； e）可支持数据的计算、清洗、比对的服务，排除错误、重复、不完整的数据。

7.3数据加载服务技术要求

本项要求包括： a）对可支持常见关系型数据库、数据仓库的数据加载，必须支持主流安全可控的数据库系统； b）应具备扩展能力，可以支持诸如NoSQL的非关系型数据库的加载。

7.4ETL开发配置服务技术要求

本项要求包括： a）应提供可视化图形操作界面； b）提供大量的ETL流程可视化组件，如序列组件、常量组件、随机数组件、资源校验组件、系统信 息组件、延迟组件、测试组件、计算器组件等，可通过拖拽方式来组装成ETL流程； c）ETL可视化组件应具有扩展能力

7.5ETL监控管理服务技术要求

本项要求包括： a）提供监控管理功能。能够对数据处理状态进行实时监控，包括组件处理的记录数和异常数，并 且可以评估单个组件处理数据的性能指标和整个处理流程的性能指标； b）具有完整的日志管理功能，提供对监测数据的查询功能。服务使用机构可通过多个角度（创建 时间、作业类型、运行时间等）查看监测结果的详细信息； c）具有监控预警机制。预警内容、警戒值可由服务使用机构配置，预警方式可支持邮件预警； d）提供多种调度机制和异常恢复机制，支持自动和手动恢复，支持从异常点处继续开始流程，以 保证数据的完整性，

8.1数据分析服务技术要求

本项要求包括： a）应支持海量数据挖掘，满足政府部门TB、PB级数据分析需要； b）应支持基于分布式并行处理技术的大数据存储、计算框架，灵活处理分布式挖掘分析应用； c）应支持内存计算，利用更大的内存资源，实现实时分析； d) 应支持列存储技术，提供高效的数据检索性能和更小的磁盘存储消耗； e）应支持库内计算技术，充分利用数据库自身的计算优势计算分析数据； ? 应支持数据分析所需要的算法库，提供关联分析、聚类分析、分类分析、异常分析、特异群组分 析和演变分析等多种数据挖掘算法，适于解决不同类型的问题； g) 数据分析结果应满足多种形式的输出，分析结果可导出数据、生成多种格式的报表、可通过门 户发布到Web页面、可与现有应用系统无缝集成等； h）梦 数据分析算法应具有良好的可扩展性，通过二次开发接口，可快速集成电子政务数据分析所需 要的其他类型或专业算法模型； 应提供电子政务所特有的基础数据分析服务

a）应支持海量数据挖掘，满足政府部门TB、PB级数据分析需要； b）应支持基于分布式并行处理技术的大数据存储、计算框架，灵活处理分布式挖掘分析应用； C) 应支持内存计算，利用更大的内存资源，实现实时分析； d)/ 应支持列存储技术，提供高效的数据检索性能和更小的磁盘存储消耗； e）应支持库内计算技术，充分利用数据库自身的计算优势计算分析数据； f) 应支持数据分析所需要的算法库，提供关联分析、聚类分析、分类分析、异常分析、特异群组分 析和演变分析等多种数据挖掘算法，适于解决不同类型的问题； g) 数据分析结果应满足多种形式的输出，分析结果可导出数据、生成多种格式的报表、可通过门 户发布到Web页面、可与现有应用系统无缝集成等； h）梦 数据分析算法应具有良好的可扩展性，通过二次开发接口，可快速集成电子政务数据分析所需 要的其他类型或专业算法模型； D 应提供电子政务所特有的基础数据分析服务

8.2数据展现服务技术要求

a）应提供统一的数据服务门户。 b）应提供数据展现模板功能，模板要求能具备继承和整合的能力。 c）应提供界面展现服务和展现数据接口服务两种形式： 1）界面展现服务应具备较好的兼容性，能兼容不同的展现工具和数据格式； 2）展现数据接口服务应具有高效性，保证高效的数据输出，应能输出包括XML、Json在内 的多种数据类型。 d）应具备与服务使用机构的交互能力，包括交互变形、交互移动等。 e）应能通过缓冲、内存计算、压缩传输等手段保证展现具有友好的响应速度和服务使用机构 体验。 f) 应支持结构数据（包括多维分析数据）、半结构数据、非结构数据、GIS数据等不同数据类型的 数据展现服务，具体包： 1）结构数据应支持丰富的几何图展现方式，如仪表盘、饼状图、柱状图、曲线图、曲面图、雷达 图等多种交互式图表； 2）半结构数据应支持不同类型的展示与解析统计能力，如常用的xls、csv、html、txt等类型； 3）非结构数据应支持分类与数据浏览功能，如音频、视频等； 4）支持主流安全可控GIS平台数据展现，包括GIS相关的矢量数据、栅图数据等。 g） 应支持良好的可扩展性，通过二次开发接口，可快速实现电子政务数据展现所需要的类型数据 和可视化技术。 h)J 应支持以下应用展现形式： 1）报表展现：支持专业报表、即席报表、企业级复杂报表等多种报表形式； 2） 数据分析展现：支持假设分析、多维分析等高级应用； 3) 数据挖掘展现：提供分类、聚类、预测分析、神经网络、关联规则等多种算法组件和相关可 视化展示图表。

9.1数据服务发布管理技术要求

本项要求包括： a) 应提供基于服务的访问方式，支持多种方式的接口封装形式，如采用Web服务或 RESTfulWeb服务形式； b) 应提供多服务使用机构的访问机制，不同服务使用机构可以租用到相互隔离的数据服务 实例； c) 应提供数据服务的编目功能，形成数据服务目录

9.2数据服务访问管理技术要求

本项要求包括： 应提供数据服务访问的身份鉴别功能，支持电子政务CA证书和服务使用机构密码二种验证 方式，验证结果可以返回身份信息或令牌（Token）信息； 应提供数据服务访问的权限控制功能，可根据服务使用机构身份、部门、角色等多种手段，分配 数据服务的访问权限：

本项要求包括： 应提供数据服务访问的身份鉴别功能，支持电子政务CA证书和服务使用机构密码二种验证 方式，验证结果可以返回身份信息或令牌（Token)信息； b） 应提供数据服务访问的权限控制功能，可根据服务使用机构身份、部门、角色等多种手段，分配 数据服务的访问权限：

GB/T 34079.32017

c）数据服务的访问权限应包括可发现权限、可使用权限和可控制管理权限三个层次； d）应提供数据服务的使用管理功能，可接受和记录服务使用机构的服务访问申请信息，设置或修 改服务使用机构的服务访问权限。应提供数据服务使用的查询功能，可以查出某数据服务的 服务使用机构，也可查出某服务使用机构使用的数据服务

9.3数据服务变更管理技术要求

1.4数据服务监控管理技术要求

10.1数据管理目录技术要求

本项要求包括： a) 电子政务公共平台提供的目录服务系统应按照多用户的模式，不同服务使用机构可以申请逻 辑独立的目录服务； b) 应提供自动目录生成功能，目录生成应支持积累式生成和增量式生成等； 2 应通过元数据的管理自动实现目录的生成与使用；

d）应支持自动建立数据采集对象目录； e）应支持自动建立数据存储目录； f）应支持自动建立数据服务目录； g）应提供目录缓存功能，快速响应服务使用机构的使用需求

d）应支持自动建立数据采集对象目录； e）应支持自动建立数据存储目录； f）应支持自动建立数据服务目录； g）应提供目录缓存功能，快速响应服务使用机

10.2数据管理元数据采集技术要求

本项要求包括： a）部署或迁移到电子政务公共平台上的政务应用系统应具有数据属性描述，支持元数据自动采 集的功能，便于电子政务公共平台对数据的元数据进行管理维护； b） 应提供根据元数据模型或元数据自动识别和自动关联关系的功能，便于元数据的共享重用或 目标数据的自动发现； c元数据采集功能应能以服务的方式提供

10.3数据管理元数据存储技术要求

a) 应提供元数据库，用于元数据的持久化存储及维护，元数据库应支持数据库管理系统、文件系 统等不同物理存储方式； b) 应提供元数据缓存，用于元数据的高效使用；应采取相关同步策略和同步过程确保元数据在缓 存同持久化存储之间的一致性； c) 元数据库应提供存取接口，以获取系统信息、版本信息、以及库中建立的不同服务使用机构的 逻辑存储空间信息； d) 元数据库应支持逻辑存储空间的隔离能力，以便为不同政务服务使用机构或应用系统划分不 同命名的逻辑存储空间； 元数据库应支持逻辑存储空间管理，支持创建和删除逻辑存储空间，支持对多逻辑存储空间的 操作； f) 逻辑存储空间中应支持树状结构元数据的存储，以适应电子政务应用中常见的部门结构、资源 目录的组织形式。

10.4数据管理元数据查询技术要求

本项要求包括： a)J 应提供元数据查询、元数据统计、元数据使用情况分析、元数据变更、元数据版本和生命周期变 化情况； b) 应支持类SQL查询语言，以便服务使用机构或业务应用系统，采用熟悉的关系型数据库访问 方式，以多种方式查询元数据库的各种类型对象及属性； c) 应支持对文本类数据类型的全文检索功能 d) 应提供查询结果的对象元组集的过滤、排序等功能； e) 查询结果应至少支持对象视图和表格视图两种报告组织形式，应提供查询结果的支持查询结 果的分页组织功能； f）查询功能应受到服务使用机构操作权限限制，如果会话没有对元数据库中某部分内容的操作 权限，那么这部分内容不会被查到。

10.5数据管理元数据变更控制技术要求

GB/T 34079.3—2017

a) 应支持变更通知功能，当元数据库中服务使用机构的逻辑存储空间的持久化内容变更时，应用 程序或服务使用机构可以接收到变更通知。 b) 应支持版本管理功能，对不同时期进入元数据库的同一实体的元数据进行版本和内容区分。 要求的基本功能是能够显示同一实体的元数据的修改历史，并且能够进行单个元数据版本的 管理操作： 1）创建新的版本，提交新版本内容，添加、查询、删除版本的标签，查询版本历史，恢复指定版 本，删除版本，版本分支与合并等； 2）版本操作应支持事务回滚，即当事务回滚时，版本操作亦可回滚； 3）支持元数据操作的加锁功能，支持对元数据修改的加锁功能，可使一个服务使用机构临时 性防止其他服务使用机构修改一个元数据或一组元数据的内容。 c）应提供身份鉴别功能，可根据服务请求者的身份信息或令牌信息，鉴别请求者的身份。 d 应支持权限控制功能，包括： 1）权限发现：即确定一个服务使用机构在一个对象上的权限； 2）赋予访问控制策略：即用访问控制策略指定一个服务使用机构在一个对象上的权限。 e) 应提供基于流程的元数据管理能力，以便服务使用机构管理和跟踪元数据的整个生命周期 状态。 元数据写入操作应提供事务与回滚功能，即只有当事务提交时才向存储层进行持久化写人操 作，而当写入失败时，可以进行回滚，

11.1数据交换共享技术要求

本项要求包括： a）应支持电子政务公共平台级的多服务使用机构管理功能，为不同服务使用机构提供逻辑上独 立的软件运行环境和数据交换存储区，提供安全访问控制机制，确保不同服务使用机构交换流 程和数据存储的隔离； 6） 应支持电子政务公共平台级的控制中心与前置系统的数据交换模式，为不同数据存储区提供 前置适配的共享交换功能，确保数据共享交换的安全访问控制； c）交换共享服务应能以服务的方式提供

1.2数据交换共享监控技术要求

12.1数据质量指标管理技术要求

GB/T34079.32017

本项要求包括： a）应提供数据质量指标的定义、升级、废除和归档等功能； b）应提供数据质量可度量性指标，且能够在离散值域范围内量化； C 应提供数据认责功能，当数据质量指标证明数据质量不能满足要求时，应通知平台服务的提供 机构，并安排执行适当的纠错任务； d）应提供对定义数据质量指标符合度的跟踪机制，确保数据质量持续可预测

GB／T50639-2019 锦纶工厂设计标准及条文说明.pdf12.2数据质量规则管理技术要求

本项要求包括： a）应支持数据质量规则的定义、执行、结果反馈管理； b）应支持SQL命令、谓词逻辑、正则规则、字典规则和值域规则等形式； c）应支持批量导入和交互输入的质量规则形成方式； d）应支持对规则的语法正确性进行检查和结果反馈，对不正确的规则可以进行更正编辑功能； e 应支持数据特征、特征属性及特征关系存在或不存在等属性的数据完整性管理； 应支持数据在数据结构、数据格式和属性编码正确性、拓扑关系等的数据一致性管理； g） 应提供数据唯一性、数据时效性和数据异常值等检查规则管理。

12.3数据质量检测技术要求

本项要求包括： a）应支持根据数据质量规则进行定量检测和分析的功能； b)店 应支持多种分析形式上海市住宅工程质量分户验收管理办法（沪住建规范[2018[5号 上海市住房和城乡建设管理委员会2018年7月），如单列分析（如列值关键特征分析、最大值、最小值、均值分析）、跨列分 析（如不同列值之间的关联性分析、依赖分析）、跨表分析（如不同实体之间的外键关系重合值 分析)； c) 应支持尚下钻取实现对数据质量的进一步调查分析； d) 应支持数据质量规则在整个数据集的数据验证、评估频率分布和相应的度量； e) 应支持数据质量分析结果形成、图形展现和检测报告； 应支持测量和监控数据项对数据质量规则的符合度评估，并根据数据的服务等级协议（SLA） 的要求，提供纠正数据错误的建议和操作手段； 应支持流动式和批量式两种控制方式，实现对数据创建处理时可持续的数据质量检测和对永 久存储数据集中数据记录的批量检测，

本项要求包括： a）应支持根据数据质量规则进行定量检测和分析的功能； b)店 应支持多种分析形式，如单列分析（如列值关键特征分析、最大值、最小值、均值分析）、跨列分 析（如不同列值之间的关联性分析、依赖分析）、跨表分析（如不同实体之间的外键关系重合值 分析)； c） 应支持尚下钻取实现对数据质量的进一步调查分析； d) 应支持数据质量规则在整个数据集的数据验证、评估频率分布和相应的度量； e) 应支持数据质量分析结果形成、图形展现和检测报告； 应支持测量和监控数据项对数据质量规则的符合度评估，并根据数据的服务等级协议（SLA） 的要求，提供纠正数据错误的建议和操作手段； 应支持流动式和批量式两种控制方式，实现对数据创建处理时可持续的数据质量检测和对永 久存储数据集中数据记录的批量检测。

12.4数据质量评估技术要求