标准规范下载简介
Q／GDW 12104-2021 电力物联网数据中台技术和功能规范.pdfICS 35. 240
国家电网有限公司企业标准
Q/GDW121042
电力物联网数据中台技术和功能规范
DB5101／T 30-2018标准下载家电网有限公司 发布
Q/GDW12104—2021目次言1范围.2规范性引用文件3术语和定义，45数据中台架构..5.1总体架构.5.2总体要求..5.3功能架构.6功能要求...6. 1数据接入，6. 2存储计算.6.3数据分析..6. 4数据服务.6. 5数据资产管理106. 6运营管理7非功能性要求.137. 1性能要求...137. 2可靠性要求..7. 3易用性要求...147. 4可扩展性要求.7. 5连续性要求，.157. 6安全要求...15附录A（资料性附录）平台定位.16附录B（资料性附录）部署架构..编制说明.18
为规范国家电网有限公司数据中台建设应用，完善电力物联网标准体系，解决数据应用短板，实 现企业数据管理创新，支持各专业、各单位数据共享，制定本标准。 本标准由国家电网有限公司互联网部提出并解释。 本标准由国家电网有限公司科技部归口。 本标准起草单位：国网信息通信产业集团有限公司、国网天津市电力公司、国网冀北电力有限公 司、国网山东省电力公司、国网上海市电力公司、国网浙江省电力有限公司、国网四川省电力公司、 国网辽宁省电力有限公司、国网内蒙古东部电力有限公司、国网甘肃省电力公司、南瑞集团有限公司， 国家电网有限公司信息通信分公司、国家电网有限公司大数据中心、全球能源互联网研究院有限公司。 本标准主要起草人：刘青、辛永、王远征、罗义旺、林榮、余仰淇、郝悍勇、崔壮、刘彩、林海 玉、吴少平、王羽欣、黄江升、廖应霞、郭晶、黄刚、倪家明、钱晓真、李贤、来骥、黄建平、谢裕 清、曾愚、杨帆、王丽霞、王诗清、朱继阳、肖海龙、张勇生、冯百龙、梁旭、杨波、魏军、王威、 曹健、张攀、宋文婷、刘贺、焦艳斌。 本标准首次发布。 本标准在执行过程中的意见或建议反馈至国家电网有限公司科技部。
Q/GDW12104202
勿联网数据中台技术和功能规范
本标准规定了数据中台技术和功能要求，包括数据接入、存储计算、数据分析、数据服务、数据 资产管理、运营管理等功能要求以及非功能性要求。 本标准适用于国家电网有限公司数据中台规划、设计、开发、建设、运维等环节。
下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文 件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 Q/GDW1597国家电网公司应用软件系统通用安全要求 Q/GDW11816全业务统一数据中心总体架构和技术要求 Q/GDW12098电力物联网术语
Q/GDW12098和Q/GDW11816界定的以及下列术语和定义适用于本文件。 3.1 列式存储columnarstorage 按单列而不是多行进行的数据连续存储方式。 3.2 时序数据库timeseriesdatabase 存储与时间相关的数据，该数据是在时间上分布的一系列值
Q/GDW12098和Q/GDW11816界定的以及下列术语和定义适用于本文件。 3.1 列式存储columnarstorage 按单列而不是多行进行的数据连续存储方式。 3.2 时序数据库timeseriesdatabase 存储与时间相关的数据，该数据是在时间上分布的一系列值
MB：兆字节（Mbyte） MPP：大规模并行处理（Massivelyparallelprocessing） ODBC：开放数据库连接（OpenDataBaseConnectivity） PB：拍字节（PetaByte） RESTFUL：一种网络应用程序的设计风格和开发方式（RepresentationalStateTransfer） RPC：远程过程调用协议（RemoteProcedureCal1Protocol） SQL：结构化查询语言（StructuredQueryLanguage） SSD：固态硬盘（SolidStateDisk） TB：太字节（Terabyte) TCP：传输控制协议（TransmissionControlProtocol） TPS：事务处理系统（Transactionprocessingsystems） URL：统一资源定位符（UniformResourceLocator） XML：可扩展标记语言（ExtensibleMarkupLanguage)
数据中台包含贴源层、共享层、分析层、统一数据服务、数据资产管理和运营管理，总体架 1所示。
图1数据中台总体架构
数据中台应满足对多源异构数据接入存储、多样化数据计算分析、数据服务化提供等相关应 具体如下： a）数据中台应支持对结构化、非结构化、采集量测等多源异构的数据接入：
b）数据中台应提供满足批量离线计算、实时流式计算、多维数据分析、报表分析、数据挖掘等 支撑能力，支持主流应用构建技术及算法自定义： 数据中台应提供满足数据业务化以数据服务方式对外提供服务，灵活支撑企业级数据共享及 应用，并可实现在线调度监测、自动化执行、敏捷化应用等。 支持多类型数据存储应用，包括结构化数据、非结构化数据、采集量测类数据以及E格式文 件和特定规约的消息数据等； 支持集群规模灵活扩展； f 系统运行指标方面支持与信息通信一体化调度运行支撑平台集成； 具备完善的整体数据安全和隐私保护措施，
5.3. 1 功能架构图
数据中台的能力主要包括数据接入、存储计算、数据分析、数据服务、数据资产管理、运营管 能架构图如图2所示。
5. 3. 2 功能描述
图2数据中台功能架构
数据中台功能主要包括： a 数据接入是指从数据中台外部将各类业务数据汇聚到数据中台贴源层的基本服务能力。数据 种类主要包括结构化数据、非结构化数据、采集量测类数据以及E格式文件和特定规约的消 息数据。源端可以是各类业务系统、终端设备和外部第三方服务提供商。其中数据交换能力 应具备横向和纵向级联数据传输能力； b) 存储计算是数据中台数据核心处理引擎。数据存储是指各类业务数据接入数据中台后的落地 过程。数据计算是指根据需求对数据进行计算加工的处理过程：
c）数据分析是为分析模型和分析算法提供管理，为数据报表与可视化展示提供工具集； d 数据服务通过数据服务目录实现安全、友好、可控的对内对外数据服务统一访问，提供Restfu 等各类形式的API服务接口的统一注册、管理和调度； e 数据资产管理对数据资产体系的模型、目录、数据标签等进行全面管控； 工 运营管理为数据中台的使用过程提供各种管理支撑工具，对数据服务和脱敏规则等进行参数 配置，对链路进行安全监控和调度计量，对数据开发提供在线交互功能，是实现数据全生命 周期监控的基本工具集，数据运营能力包括对模型、指标、标签、策略等开展持续运营的能 力。
数据复制具体功能应包括： a）支持通过在线日志或归档日志的数据增量捕获，非侵入式的实现数据库之间数据复制： 源端和目标端均支持Oracle、MySQL等常见关系数据库； e）具备多种比对策略，支持表结构、表记录等多对象的一致性比对； d）具备高比率的数据压缩，能够实现断点续传，并能在传输过程中进行安全的数据加密 e）具备对复制过程各个环节的运行情况进行记录和监控的能力； f）具备实时/准实时数据复制能力； 支持多种接口与第三方系统对接，提供增量数据变化描述的中间数据； 支持基于事务的数据同步
6.1.3数据抽取转换
数据抽取转换具体功能应包括： a）支持Oracle、MySQL、PostgreSQL、SQLServer、OracleRDB、DB2、Greenplum、Sybase、MSAcc SQLite等主流数据库； b)支持 txt、csV、xml 等主流格式文件:
Q/GDW12104202
c）支持Hbase、Hive、HDFS、Kafka等大数据组件，并支持kerberos安全认证机制； d）支持达梦、金仓、GBase8a等国产数据库，支持电力E文件等格式文件； 具备完善的数据整合处理能力，支持值映射、拆分字段、合并字段、字段选择、排序、编码 转换、计算、行列转换、剪切字符串、去重、唯一行（哈希值）、增加常量、增加序列、字 符串替换、行扁平化、设置字段值、正则表达式替换等； 支持对Oracle、MySQL、PostgreSQL、Gbase8a等常见数据库的高效加载机制，支持批量加载 并行加载、增量加载、通过变量控制加载范围等 支持独立的线上调度监控能力，支持定时执行、批量执行、依赖执行、增量执行、变量执行 接口调用执行、手动执行等调度方式；支持在线监控任务运行日志、运行进度、运行告警、 资源使用等； h）支持调度接口，支持与第三方应用交互，并反馈运行结果： i）支持可视化任务编排，支持可视化开发工具、可视化调度监控： i）支持批量配置； 支持集群部署，具备运行节点横向扩展能力； 支持开发环境与生产环境分离能力，支持在测试环境开发调试，将结果上传到生产环境运行 并提供B/S架构对系统进行管理。
c）支持Hbase、Hive、HDFS、Kafka等大数据组件，并支持kerberos安全认证机制； d）支持达梦、金仓、GBase8a等国产数据库，支持电力E文件等格式文件； e）具备完善的数据整合处理能力，支持值映射、拆分字段、合并字段、字段选择、排序、编码 转换、计算、行列转换、剪切字符串、去重、唯一行（哈希值）、增加常量、增加序列、字 符串替换、行扁平化、设置字段值、正则表达式替换等； 支持对Oracle、MySQL、PostgreSQL、Gbase8a等常见数据库的高效加载机制，支持批量加载、 并行加载、增量加载、通过变量控制加载范围等 多 支持独立的线上调度监控能力，支持定时执行、批量执行、依赖执行、增量执行、变量执行 接口调用执行、手动执行等调度方式；支持在线监控任务运行日志、运行进度、运行告警、 资源使用等； h）支持调度接口，支持与第三方应用交互，并反馈运行结果； i）支持可视化任务编排，支持可视化开发工具、可视化调度监控： ）支持批量配置； 支持集群部署，具备运行节点横向扩展能力； 支持开发环境与生产环境分离能力，支持在测试环境开发调试，将结果上传到生产环境运行 并提供B/S架构对系统进行管理。
Q/GDW121042021
批量计算具体功能应包括： a） 具备任务定义、提交、调度、监控能力 b) 支持多种数据来源及输出，包括关系数据库、分布式文件系统、分布式列式存储等，满足各 业务系统根据业务需求进行各类型统计分析任务的定义： C 具备错误检测和恢复机制，支持节点自动重启技术，使集群和计算框架具有应对节点失效的 健壮性，能有效处理失效节点的检测和恢复； 业务应用能够通过调用批量计算服务API实现批量计算逻辑； e 支持横向扩展，可动态扩展节点，用于批量计算，
6. 2. 2 流计算
流计算具体功能应包括： a）支持多种内建的字符串、时间、统计、逻辑运算表达式等类型函数，支持用户自定义计算函 数，自定义输入、输出数据源； b 支持消息驱动的实时计算，支持对接不同的数据源，以毫秒级时延实现数据的聚合、拆分、 过滤等处理： C 支持在流上执行类SQL任务，支持多种输入、输出数据源及相关的序列化、反序列化方式； 类SQL能力至少包括：基于窗口的计算能力、提供窗口数据的统计能力、关联能力； d 支持自动、手动性能调优和监控报警； e 流计算集群支持线性扩展，具备容错机制，支持作业级容错； f）业务应用能够通过调用流计算服务API实现流计算逻辑
6. 2. 3 内存计算
3.2.4分布式列式数据库
分布式列式数据库具体功能应包括： a 提供列式存储、在线快速读写、线性扩展、监控管理等能力： b 支持大规模集群部署、PB级数据存储； 支持组件API访问接口，支持扩展的SQL访问，支持ODBC、JDBC等开发接口； d 支持二级索引，能够支持本地以及全局二级索引，并且能够支持组合学段索引，支持为已经 存在数据的表新增索引，支持索引册删除能力，支持通过API和Phoenix创建二级索引： e 支持与全文检索服务对接，支持在数据库数据加载过程中实时生成全文索引，提供快速、简 单的内容检索方案； f）支持MOB技术，满足小文件（比如图像数据、文档等）的高效存储和检索 数据加密存储时，能够支持SM3/SM4国密算法。
6.2. 5 分布式关系型数据库
Q/GDW12104202
分布式关系型数据库具体功能应包括： a）支持数据穴余存储、分库分表、透明读写分离、数据存储平滑扩容、分布式运维指令集、分 布式事务等功能； 支持数据库在线扩容、在线备份： c）支持数据库状态管理和监控能力； d）支持数据库SQL标准访问接口，支持ODBC、JDBC等开发接口； 支持大规模集群部署，集群具备高并发响应能力； f）数据加密存储时，能够支持SM3/SM4国密算法
图数据库具体功能应包括： a）支持以图数据结构进行存储、处理、查询等； b） 支持分布式部署； 支持并行处理； d) 支持关系型数据库导入或csV、txt等文件形式导入； e) 支持可视化展示图结果查询： f) 支持动态更新节点、边、属性； 支持对外提供标准的API功能,能够和其他平台完成对接和交互； h）支持拓扑关系数据存储和分析能力； i）支持在线备份（完整备份和增量备份），写操作支持线程安全； 支持常用图算法AQL、Pregel、Cypher等，并支持算法扩展。
6.2.7数据融合存储
数据融合存储包括数据分类、分层、分区和存储技术两部分： a 数据分类、分层、分区包括： 1） 数据分类是根据数据本身特点、分为结构化数据和非结构化数据； 数据分层是根据数据粒度以及数据ETL来划分数据层次，借鉴传统数据仓库建设方案和 数据中台平台实际需求进行数据分层次整合，层次包括：贴源层、共享层和分析层； 3 数据分区是对一个数据在特定维度上再次细化分类。 b) 存储技术要求包括： 1） 支持在线查询或离线计算的数据访问需求； 2） 支持高吞吐的数据读取和写入： 3） 支持PB级大规模数据存储和查询： 4） 提供更灵活的存储和计算资源管理手段，提高存储和计算的扩展性； 5 提供高并发在线应用所需的低延迟业务数据查询。
6.2.8MPP数据库
MPP数据库具体功能应包括： a）支持表、视图、函数、主键、约束、索引、存储过程、游标等数据库基础对象； b）支持分组、排序、汇总、联合、子查询等功能； ）支持分布式事务、全局事务等： a) 支持主流的Linux操作系统，支持主流硬件厂商的硬件； e）支持基于节点间无共享的存储架构
支持在线扩展（删除）节点服务器而不影响应用系统持续运行； 支持SQL92、SQL99、SQL2003、SQL2008等SQL标准； 提供对C、C++、JAVA、C#、Python开发语言和工具的支持； 提供对易用并具有广泛适应性的接口程序，如：JDBC、ODBC等； 支持PB级结构化数据存储； 提供数据备份和恢复机制： 支持多种数据容错机制，包括针对磁盘错误等硬件错误的容错手段； 提供统一的图形化数据库管理工具，可对多套数据库进行集中式的统一管理； 提供图形界面的数据库性能监控和动态性能调整等功能，能为管理员提供调优建议，提供系 统直自动参数调优功能。
时序数据库具体功能应包括： 支持实时、高并发写入，无须更新或删除操作，时序数据会按照指定的时间粒度持续写入； 支持分级存储、SQL查询； c）支持数据压缩功能，降低存储成本： 支持分片，水平扩展； 支持历史查询、插值查询以及聚合计算，能满足各种复杂的业务数据查询场景： 支持高效的数据压缩技术，减少磁盘空间占用： 支持批量历史数据查询、 历史时刻断面数据查询等多种数据访问方式
6.3.1数据分析需求目录
数据分析需求目录具体功能应包括： a）支持按专业对业务需求进行分类； b）支持对业务分析挖掘需求信息的新增、删除、编辑、版本管理； 支持业务分析挖掘需求信息发布，包括业务分析背景、目标、范围、要求等信息发布： d）支持业务分析挖掘需求信息查询、浏览、交流、标注、评价。
6. 3. 2自助式分析
自助式分析具体功能应包括： a）支持数据源接入配置、管理，提供对各类数据源的维护，可支持主流数据库、文件以及第三 方API接口等； b） 支持基于用户数据使用权限进行字段级的数据加密、脱敏： 内置常用的数据预处理算子，支持数据清洗、转换、集成、数据规约等功能； d 支持对数据的使用行为、使用流程、方式等进行审计、标注； e 提供直观、易用的拖放式界面，能通过选择主题相关的表及相应的图表、文字等展现形式， 设置布局、样式等信息，形成相关图表分析功能，内置主流可视化图表控件，支持动态集成 第三方可视化控件，对数据进行探索分析和数据标注； f 内置主流的数据挖掘算法，支持动态集成第三方算法，支持通过在线拖拉方式，实现分析挖 掘模型构建与训练、评估、优化： g 支持模型以工具的形式部署到用户使用的平台或系统中。
自助式分析具体功能应包括： a）支持数据源接入配置、管理，提供对各类数据源的维护，可支持主流数据库、文件以及第三 方API接口等； 6 支持基于用户数据使用权限进行字段级的数据加密、脱敏； ? 内置常用的数据预处理算子，支持数据清洗、转换、集成、数据规约等功能； d) 支持对数据的使用行为、使用流程、方式等进行审计、标注； e) 提供直观、易用的拖放式界面，能通过选择主题相关的表及相应的图表、文字等展现形式， 设置布局、样式等信息，形成相关图表分析功能，内置主流可视化图表控件，支持动态集成 第三方可视化控件，对数据进行探索分析和数据标注； f) 内置主流的数据挖掘算法，支持动态集成第三方算法，支持通过在线拖拉方式，实现分析挖 掘模型构建与训练、评估、优化； g）支持模型以工具的形式部署到用户使用的平台或系统中。
Q/GDW121042021
数据可视化具体功能应包括： a 支持数据源管理，提供对各类数据源的维护，可支持主流数据库、文件以及第三方API接口 等； b 支持对数据集进行数据类型转换、字符长度截取等简单的数据预处理： C 支持可视化分析设计，提供图形化拖拽等简易配置可视化场景的能力，提供丰富的可视化组 件库，满足不同业务的展示需求； 支持基于模板快速构建可视化场景，预置多种业务典型模板； e) 实现对海量数据的快速响应、实时在线、详细展示； 具备对多种复杂数据格式和场景的展示，包括实景地图、3D建模、VR仿真建模等； g 支持集成第三方可视化工具。
报表分析具体功能应包括： a）支持数据源管理，提供对各类数据源的维护，可支持主流数据库、文件以及第三方API接口 等； 支持报表的创建、数据自定义报送、报表数据自定义时间采集、执行任务列表查看等业务需 求； C 支持业务应用个性化自助报表设计、查询、图形化展现等业务需求； d 提供机器人仪表盘、作业管理、运行监测、机器人配置管理、部署管理等能力
水利水电安全施工组织设计6.3.5成果应用管理
分析成果管理具体功能应包括： a）支持分析挖掘模型成果、可视化看板、报表成果的提交、审核、编辑、版本管理、发布、下 架等； b) 支持对分析成果进行下载、使用、分享； C 支持分析成果信息浏览、查看、标注、评价； d) 支持对分析成果应用使用情况的跟踪、反馈、评估； e) 支持对分析成果的成果数量、浏览次数、下载及引用次数等进行多维分析，
6.4.1数据服务目录
数据服务目录具体功能应包括： a）支持基于元数据，构建数据服务目录、资源分类、编码管理等接口； b） 提供对数据服务的统一注册与发布、编排（组合编排）、订阅、授权、检索以及应用接入管 理能力； C） 支持快速将数据通过封装配置生成数据服务APl，并以webservice、restful等接口形式进行注 册、发布等配置； d） 具备管理、绘制各个数据服务标签的能力，为调用方提供快捷的目录检索功能； e） 支持管理前端业务应用对数据服务的订阅，为已订阅的前端业务应用提供服务消息通知： f）支持记录管理前端业务应用对数据服务的访问痕迹、访问状态、资源使用情况等：
g）提供各类数据服务的授权配置功能，前端业务应用仅能访问 token、Basic等认证形式； h）支持数据服务版本管理，可追溯数据服务变更记录； i）支持对数据服务的运行状态、服务数量、服务调用频度等多维分析
6.4.2RESTful服务
RESTful服务具体功能应包括： 支持单个资源、资源集合两种形式的URL； b) 支持验证来自客户端的所有输入钢便桥施工方案（按专家意见第二次完善后），避免注入攻击； c）支持会话机制，对客户端此次请求进行权限认证； d）支持URL敏感数据监测
6.4.3Webservice服务
Webservice服务具体功能应包括： 支持通过封装、规则、协议进行数据交换，并提供各类数据服务接口的生成、注册、发布等 配置功能； b）支持身份认证、访问IP认证以及加密传输等。