标准规范下载简介
Q/GDW 12116-2021 企业数据盘点技术规范.pdfICS 35. 020
D/GDW 121162
lspecificationofenterprisedatastockt
湘桂铁路扩改工程XG-3标灵川综合行车室实施性施工组织设计国家电网有限公司 发布
Q/GDW 12116202
前言 范围. 规范性引用文件 术语和定义 缩略语... 总体原则 数据盘点筹备, 元数据采集.. 数据表有效性核查. 表间关系识别 10表间血缘关系识别 11数据表及数据字段标注 11.1 数据表和数据字段的解释标注, 11. 2 数据表和数据字段的分级标注, 11. 3 数据表的特征标注 11. 4 数据表的数据分类标注. 11.5数据共享负面清单标注.. 12数据目录建设. 12. 1 数据目录分类 12.2数据目录结构. 12.3数据目录内容 13数据目录发布 数据目录更新. 15数据目录应用 附录A(资料性附录) 企业数据盘点技术流程 附录B(资料性附录) 数据盘点工作表... 附录C(资料性附录) 无效数据表分类.. 附录D(资料性附录) 企业数据盘点涉及业务活动示例 附录E(资料性附录) 数据表技术分类 5 编制说明... 6
Q/GDW121162021
为规范国家电网有限公司企业数据盘点工作,促进数据资源共享和应用,制定本标准。 本标准由国家电网有限公司互联网部提出并解释。 本标准由国家电网有限公司科技部归口。 本标准起草单位:国网宁夏电力有限公司电力科学研究院、国网宁夏电力有限公司、国家电网有限 公司互联网部、国家电网有限公司大数据中心、国家电网有限公司信息通信分公司、国网浙江省电力有 限公司、国网江苏省电力有限公司、南瑞集团有限公司, 本标准主要起草人:陈鹏、朱东歌、马瑞、蔡冰、梁云丹、柏峻峰、黄怡、李翔、丁茂生、夏绪卫 少卫国、李兴华、段文奇、李晓龙、王峰、黄鸣宇、闫振华、马一鸣、柴育峰、韩亮、李月华、吴曼荣、 史渊源、李秀厂、韩红卫、史磊、刘佳、李永亮、吴宗后、方鹏、侯小娥、朱冬梅、秦发宪、贾璐、辛 余、徐海洋、刘洋、程瑞营、赵申、夏心锋。 本标准首次发布。 本标准在执行过程中的意见或建议反馈至国家电网有限公司科技部。
Q/GDW 12116202
本标准规定了国家电网有限公司数据盘点筹备、元数据采集、数据表有效性核查、表间关系识别、 表间血缘关系识别、数据表及数据字段标注、数据目录建设、数据目录发布、数据目录更新、数据目录 应用的要求。 本标准适用于国家电网有限公司所属各级单位企业数据盘点工作
下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件,仅注日期的版本适用于本文件。 凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。 GB/T5271.1一2000信息技术词汇第1部分:基本术语 GB/T5271.17一2010信息技术词汇第17部分:数据库 Q/GDW10703一2018国家电网有限公司公共信息模型(SG一CIM)
GB/T5271.1一2000和GB/T5271.17—2010界定的以及下列术语和定义适用于本文件, 3.1 数据data 信息的可再解释的形式化表示,以适用于通信、解释或处理。 [GB/T5271.1—2000,定义01.01.02] 3.2 信息系统informationsystem 具有相关组织资源(如人力资源、技术资源和金融资源)的一种信息处理系统,提供并分配信息。 [GB/T5271.12000,定义01.01.22]
GB/T5271.1—2000和GB/T5271.17一2010界定的以及下列术语和定义适用于本文件 3.1 数据data 信息的可再解释的形式化表示,以适用于通信、解释或处理。 [GB/T5271.1—2000,定义01.01.02] 3.2 信息系统informationsystem 具有相关组织资源(如人力资源、技术资源和金融资源)的一种信息处理系统,提供并分配信息 [GB/T5271.1—2000,定义01.01.22]
元数据metadata 关于数据或数据元素的数据(可能包括其数据描述),按用途可以分成技术元数据、 管理元数据三类。
业务元数据businessmetadata 描述数据的业务含义、业务规则
业务元数据businessmetadata 描述数据的业务含义、业务规则
Q/GDW121162021
3.5 技术元数据technicalmetadata 描述数据创建、修改、变更、存储及状态等技术属性。 3.6 管理元数据managingmetadata 记录和维护数据资源的管理属性。 3.7 数据资源dataresource 组织产生、使用、拥有和控制的数据。 3.8 数据盘点datastocktaking 厘清信息系统中数据资源的过程 3.9 数据目录datacatalogue 描述信息系统中数据资源信息的目录体系。 3.10 有效数据表validtable 所存储数据对组织管理、运营具有直接或间接数据价值的数据表。 3.11 无效数据表invalidtable 所存储数据对组织管理、运营无价值的数据表。 3.12 数据字段(数据项)datafield 描述数据的某种属性,是数据记录中最基本的、不可分并有独立含义的数据 3.13 国家秘密数据stateconfidentialdata 指关系国家的安全和利益,依照法定程序确定,在一定时间内只限一定范围, 的数据。
Q/GDW 121162021
工作秘密数据workconfidentiaidata 指公司在公务活动和内部管理中产生的,在一定时间内不宜对外公开,一旦泄露会影响公司正 管理秩序,给公司造成损害的事项和信息所涉及的数据。
普通数据normaldata 公司在经营管理过程中产生的除国家秘密数据、商业秘密数据、工作秘密数据和个人信 的数据。
下列缩略语适用于本文件。 SGCIM:国家电网有限公司公共信息模型(StateGridCommonInformationMode)
国家电网有限公司企业数据盘点工作原则包括: a)已建成的信息系统通过数据盘点形成源系统数据目录; b) 新建信息系统、数据中台的数据目录随系统建设同步完成; 企业数据盘点技术流程按附录A的要求; d)企业数据盘点阶段性记录参见附录B。
开展数据盘点实施的准备工作,内容应包括: a)明确数据盘点的范围及其所涉及的业务活动; b)明确支撑数据盘点工作的业务部门和人员; 明确盘点对象数据架构,收集相关文档资料,包括:业务需求分析报告、信息系统详细设计报 告、数据字典或数据库设计说明书、实施方案、用户手册、信息系统部署方案、信息系统管理 员手册; d)收集元数据采集所需的数据库配置信息
采集元数据信息,内容包括: 应采集描述数据对象存储、数据抽取、数据处理、数据质量、数据安全分级、数据共享接口的 技术元数据: 应采集描述业务主题、业务规则、业务过程、业务术语、业务指标、业务流程的业务元数据; 应采集描述管理流程、工作组织、角色职责的管理元数据:
Q/GDW121162021
d)宜采用技术手段,自动采集信息系统的元数据,对于无法自动采集的元数据,可采用手工采集 方式进行: e)应在元数据变更的五个工作日内,更新所采集的元数据
对数据表有效性进行标注,内容应包括: a)按照附录C的无效数据表判定规则标注无效数据表,将其他数据表标注为有效数据表 b)元数据发生变化时,对相关数据表重新进行有效性核查。
月确数据表之间的关联关系,内容包括: 应对数据库中视图、同义词、存储过程、物理模型进行分析,标注其中的数据表关联关系 应对业务应用功能、统计报表、软件程序进行分析,标注其中的数据表关联关系; 应根据各类业务活动,判定有关的数据表关联关系: 可采用大数据技术,对有效数据表关联关系进行自动判定,
明确数据表之间的血缘关系,内容包括: a)应对数据表间加工计算关系进行分析,标注其中的数据表血缘关系; b) 应对数据表间流转关系进行分析,标注其中的数据表血缘关系; C) 应根据各类业务活动,判定有关的数据表血缘关系; 可采用大数据技术,对有效数据表血缘关系进行自动判定
11数据表及数据字段标注
据表和数据字段的解释机
应对数据表和数据字段的名称、注释、业务含义等信息进行解释、补充、完善,形成解释 数据字段的标注信息。
11.2数据表和数据字段的分级标注
应对数据表和数据字段的分级进行标注,包括国家秘密数据、商业秘密数据、工作秘密数据、个人 信息数据和普通数据
11.3数据表的特征标注
构造数据表的标注信息,扩充数据表的分析角度,内容应包括: 按照有效数据表支撑的业务活动进行标注,业务活动示例参见附录D; 按照Q/GDW10703确定的二级主题域对有效数据表进行标注; C 按照数据表所涉及的技术对数据表进行标注,技术分类参见附录E; d) 按照数据表的使用需求,对数据表进行自定义标注; 根据业务活动、信息系统功能、信息系统技术架构的变化及时更新数据表的标注。
构造数据表的标注信息,扩充数据表的分析角度,内容应包括: 按照有效数据表支撑的业务活动进行标注,业务活动示例参见附录D; b) 按照Q/GDW10703确定的二级主题域对有效数据表进行标注; C 按照数据表所涉及的技术对数据表进行标注,技术分类参见附录E; d) 按照数据表的使用需求,对数据表进行自定义标注; 根据业务活动、信息系统功能、信息系统技术架构的变化及时更新数据表的标注。
11.4数据表的数据分类标注
Q/GDW 12116202
当有效数据表所存储的数据需要分类时,对其分类信息进行标注,内容包括: 应对有效数据表的数据分类所依据的字段进行标注; D 有效数据表的数据分类需要关联其他数据表时,应对关联字段、关联的数据表、关联的数据表 所依据的字段全部进行标注; C 应对数据分类的结构化查询语言进行标注; d)可对有效数据表数据不分类的原因进行标注
11.5数据共享负面清单标注
应对数据共享负面清单进行标注,内容包括: a)对国家、行业法律法规规定的不能在公司范围内全面共享的数据表和数据字段进行标注 b)对上级单位和本单位数据共享负面清单所包含的数据表和数据字段进行标注。
12. 1数据目录分类
按照数据资源的存储区域划分,数据目录分类包括: a 源系统数据目录; b 数据中台数据目录,按照数据中台技术架构分为: 1)数据中台贴源区数据目录; 2 数据中台共享区数据目录; 3) 数据中台分析区数据目录。
12.2.1数据目录结构内容
源系统数据目录、数据中台贴源区数据目录、数据中台共享区数据目录、数据中台分析区数据目录 均采用树形结构,内容应包括: a)第一级数据目录按12.2.2的要求构建; b 第二级至次末级数据目录按12.2.3的要求构建; c)末级数据目录按12.2.4的要求构建; d)数据且录结构见图1所示
12. 2. 2 第一级数据目录
第一级数据目录应包括以下内容: a) 信息系统第一级功能菜单; b) 支撑的业务领域; c) 无效数据表: d) 数据表技术分类; e) 其他。
Q/GDW121162021
a 与上一级对应的信息系统本级功能菜单; b 与上一级对应的业务子领域; C 无效数据表详细分类,无效数据表分类可参见附录C; d 数据表技术详细分类,数据表技术分类可参见附录E; 所关联下级信息系统功能菜单全部不设置数据目录的,本级也不设置
2.2.4末级数据目录
末级数据目录应包括以下内容: a)与上一级对应的信息系统末级功能菜单; b)与上一级对应的专业业务活动; 数据自求
12.3.1数据目录与数据表关联
将数据目录与相关数据表进行关联,形成数据目录内容包括: a) 应将信息系统产生和使用的数据表与末级数据目录中对应的“信息系统功能菜单”进行关联; b 应将有效数据表按照业务活动标注与末级数据目录中对应的“业务活动”进行关联: C 应将数据表按照技术标注与第二级数据目录中“技术详细分类”进行关联; d 应将无效数据表与第二级数据目录中“无效数据表详细分类”进行关联; e 可将无法关联在上述数据目录的数据表与第一级数据目录中“其他”进行关联; f 数据表可与多个数据目录建立关联关系: g 可通过数据目录标题和数据表标注的关键字对比验证数据目录是否符合要求: h) 源系统数据目录应覆盖各专业独立建设信息系统的全部数据表和数据资源; 数据中台贴源区数据目录应覆盖已接入数据中台贴源区的全部数据表和数据资源; j 数据中台共享区数据目录应覆盖数据中台共享区已标准化后的全部数据表和数据资源; K) 数据中台分析区数据目录应覆盖数据中台分析区的全部数据表和数据资源; 1) 数据目录覆盖全部数据表之间的关联关系:
m)数据且录覆盖全部业务功能和所支撑的业务活动
12. 3. 2数据表
Q/GDW 12116202
数据表应包含数据表业务元数据、数据表技术元数据、数据表管理元数据,内容包括: a 数据表业务元数据包含表中文名称、表的业务描述: D 数据表技术元数据包含业务系统名称、数据库类型、数据库用户名、表英文名称、表记录数、 表数据量、表字段数量、创建时间、最后更新时间; C 源系统数据目录、数据中台贴源层数据目录和数据中台共享层数据目录关联的数据表管理元数 据包含所属部门、负面清单类型、是否开展质量核查、表类型、访问次数、使用次数; 数据中台分析层数据目录关联的数据表管理元数据包含所属部门、支撑的业务应用场景、应用 成果共享范围、应用场景使用次数,
12.3. 3数据字段
数据字段应包含数据字段业务元数据,数据字段技术元数据,数据字段管理元数据,内容包括: 数据字段业务元数据包含数据字段中文名、数据字段业务描述、数据字段量纲; 数据字段技术元数据包含数据字段顺序、数据字段英文名、字段类型、字段长度、字段精度、 是否主键、是否必填; 数据字段管理元数据包含是否参考数据、参考数据映射关系、字段级负面清单(数据中台分析 层无此项)、数据质量规则。
表间关系分为域内表间关系和跨域表间关系化粪池钢板桩施工方案,内容应包括: 域内表间关系包含主表名、主表关联字段名、目标表名、目标表字段名、关系类型; 跨域表间关系包含主域名称、主表名、主表关联字段名、目标域名、目标表名、目标表字段名、 关系类型。
12. 3. 5 血缘关系
血缘关系可分为加工计算关系和流转关系,内容应包括: 加工计算关系包含源业务系统、源系统表名、源表字段名、中间表名、中间表字段名、目标表 名、目标表字段名、计算公式或模型; 流转关系包含源业务系统、源业务系统表名、表字段名、数据中台贴源层表名、数据中台贴源 层表字段名、数据中台共享层表名、数据中台共享层表字段名、数据中台分析层表名、数据中 台分析层表字段名。
12.3. 6标注信息
标注信息应包含以下内容: a)标注信息是描述业务实体特征的数据形式; b)标注信息包含第11章要求的全部内容
12. 3.7样例数据
样例数据包含以下内容: a)样例数据是展示数据表中数据格式和内容的少量数据: b)样例数据在显示或打印时,应有“样例数据”背景水印:
Q/GDW12116202
北京粘钢加固工程施工组织设计)样例数据可不提供下载