标准规范下载简介
DB1508/T 135-2021 水利信息数据质量控制规范.pdfICS35.020 CCS L 70
B1508/T 1352
WaterConservancyInformationData QualityControlStandard
巴彦漠尔市市场监督管理局 发布
JB/T 8433-2018标准下载DB1508/T1352021
范围 2规范性引用文件, 3术语和定义 4数据处理流程 4.1人工采集整编数据处理流程 4.2自动监测数据处理流程 4.3外单位共享数据处理流程 5数据处理各个环节要求 5.1人工采集整编数据处理环节要求 5.2自动监测数据处理环节要求 5.3外单位共享数据处理环节要求 6数据处理基础环境要习 6.1计算机要求 6.2网络要求 6.3系统要求
范围 规范性引用文件, 术语和定义 数据处理流程 4.1人工采集整编数据处理流程 4.2自动监测数据处理流程 4.3外单位共享数据处理流程 数据处理各个环节要求 5.1人工采集整编数据处理环节要求 5.2自动监测数据处理环节要求 5.3外单位共享数据处理环节要求, 数据处理基础环境要求 6.1计算机要求 6.2网络要求 6.3系统要求
DB1508/T135202
本文件按照GB/T1.1一2020《标准化工作导则第1部分:标准化文件的结构和起草规则》的 草。 本文件由内蒙古河套灌区水利发展中心提出。 本文件由巴彦淖尔市水利局归口。 本文件起草单位:内蒙古河套灌区水利发展中心。 本文件主要起草人:李占强、李根东、徐宏伟、闫晋阳、裴文武、张利军、姜杰、曹立奇、刘建 向义、李延林、贾宏伟、梁勇。
本文件按照GB/T1.1一2020《标准化工作导则第1部分:标准化文件的结构和起草规则》的规定 起草。 本文件由内蒙古河套灌区水利发展中心提出。 本文件由巴彦淖尔市水利局归口。 本文件起草单位:内蒙古河套灌区水利发展中心。 本文件主要起草人:李占强、李根东、徐宏伟、闫晋阳、裴文武、张利军、姜杰、曹立奇、刘建国、 董向义、李延林、贾宏伟、梁勇
DB1508/T1352021
水利信息数据质量控制规范
本文件规定了水利信息数据质量控制中数据处理流程、数据处理各环节要求和数据处理基础环境要 求。 本文件适用于巴彦淖市水利信息化中心水利信息数据质量控制
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用 该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用 件。 GB/T20271信息安全技术信息系统安全通用技术要求。
4.1人工采集整编数据处理流程
1.1巴彦漳尔市水利信息化申心人 河灌总局、市水务局、旗县水务局 据量大,涉及的单位多。为了保证人工采集整编数据的质量,需对各产生数据单位进行充分调研
DB1508/T 1352021
后结合各单位数据处理流程形成统一的数据采集整编处理流程,在具体实施的过程中根据各单位的具体 情况从统一流程中可以适当减少一些不必要的环节
数据整编:数据采集整编单位按照资料整编及录入格式规范的要求将待处理数据进行整编形成 相应的数据表格; 数据录入(导入):数据采集整编单位将整编好的数据通过人工录入界面或批量导入功能将数 据保存到数据中心的数据库中: 数据校核:数据采集整编单位将保存到数据库中的数据与原始整编数据进行比对,判断原始整 编数据与录入数据是否一致,如果不一致则重新进行数据录入(导入); 内部审核:数据采集整编单位对自已负责整编的数据进行内部审核,以保证从本单位出去的数 据的质量。内部审核可以根据需要定义多个审核层级,审核不通过则退回前一审核层级,内部 审核第一级审核不通过的数据需返回到数据整编环节; 数据上报:数据采集整编单位相关负责人员将审核通过的整编数据上报相关责任处室: 接收上报审核数据:相关处室接收已上报待处理的整编数据; 中心数据审核:市水务局相关处室对上报待审数据进行人工审核或根据定义的审核规则自动审 核。审核不通过的数据将被返回到数据采集整编单位的内部审核环节。数据审核通过,审核通 过则此整编数据成为最终可用数据,可以被建立在数据中心之上的应用系统、数据服务等使用; 数据汇编:中心(数据审核汇编单位)相关责任人员对不同数据采集单位上报的采集整编数据 进行汇编形成汇编业务数据; 汇编数据审核:申心的汇编数据审核人员对通过汇编得到的汇编数据进行审核,审核不通过则 回到数据汇编环节,审核通过则此整编数据成为最终可用数据,可以被建立在数据中心之上的 应用系统、数据服务等使用; 数据共享:通过中心审核的上报数据和汇编数据,如果数据被定义为共享数据则可以通过共享 交换平台进行数据共享与同步
4.2自动监测数据处理流程
4.2.1自动监测数据主要包括全市所有自动监测站点实时监测数据,如雨水情、水质、水量、大坝安 全(位移、渗压)等的实时监测数据,这类数据一般由自动采集设备进行实时采集或人工不定时召测获 得。经由采集设备前段数据库传输到市水利数据申心和各相关数据负责单位,通过共享设置可共享交换 到其他使用单位(其他数据分中心)。! 对于实时监测数据应尽量避免人工干预以保证数据的准确性,每个站点根据其数据的实际情况确定 数据值的有效范围和预警范围,便于自动判断数据的有效性及进行数据预警。
自动采集或人工召测:根据数据自动监测设备的设置进行数据自动采集,根据数据负责单位分 中心或区水利数据中心发出的召测指令临时采集数据: 一采集端数据保存:将自动采集数据和临时召测数据保存到采集端的数据库中: 采集端数据传输:通过数据传输系统(共享交换平台)将采集数据及时传输到负责单位分中心 和市水利数据中心; 实时监测数据接收:负责单位分中心和市水利数据中心对传输过来的实时监测数据进行接收处 理; 有效性判断:根据预先设置好的监测数据有效性范围进行数据有效性判断
DB1508/T1352021
数据库中,无效数据保存到实时监测异常库中。有效数据可根据预警阀值设置进一步增加实时 监测数据预警信息; 记录日志:对数据接收处理及有效性判断,入库结果等记录相应的日志信息,便于过程查询和 问题排除; 数据共享:如果实时监测数据被定义为共享数据则可以通过共享交换平台进行数据共享与同 步。
4.3外单位共享数据处理流程
3.1外单位共享数据需根据外单位的具体情况,确定数据传输共享方式。这里只对外单位数据 据中心后的处理流程进行说明。
DB44/T 1948-2016 移动通信固定终端天线.pdf.2外单位共享数据处理流程主要包括以下环
数据接收入库:按照与外单位确定好的数据获取方式获得数据,将数据保存到区水利数据中心 相关数据库中; 记录日志:对数据获取及入库过程记录相应的日志信息,便于过程查询和问题排除: 数据共享:如果外单位共享数据被定义为共享数据则可以通过共享交换平台进行数据共享与同 步
5数据处理各个环节要求
5.1人工采集整编数据处理环节要求
按照《巴彦尔市水利信息化中心资料整编和数据录入格式规范》文档中定义的数据整编内容、流 呈及整编格式要求进行。具体要求参见《巴彦淖尔市水利信息化中心资料整编和数据录入格式规范》的 现定。这里补充以下要求: 一对各类整编数据中的关键属性需进行重点校核,包括必填、类型、长度、精度、范围等方面的 要求需事先进行规定,保证关键属性的质量; 做好整编、一校、二校、配合整编单位、审查、复审、汇编等各个环节的人员信息的记录,做 到每个环节都能够责任到人,提高解决数据问题的效率,更好的保证人工采集整编数据的质量; 一在进行整编数据格式定义的时候要充分考虑数据的存储方式和存储结构,方便后续环节的顺利 进行。
6.1.2数据录入(导入)
按照《巴彦淖尔市水利信息化中心资料整编和数据录入格式规范》文档中整编数据存储的要求进行。 体要求参见《巴彦淖尔市水利信息化中心资料整编和数据录入格式规范》的规定。这里补充以下要求: 数据录入(导入)在保存前要有严格的系统验证,包括各属性的完整性验证、类型验证、精度 验证、格式验证、关联属性验证等。保证录入数据的准确性; 数据录入(导入)要有详细的日志湖南省公路工程标准施工监理招标文件(2019年版)(根据湘交基建[2019[246号文修订 湖南省交通运输厅发布2020年1月),包括操作时间、操作人员、数据说明、操作结果、异常描 述、异常数据记录等; 对于工程实景数字图像、特殊资料等数据应提供目录和数据库两种方式的存储保证数据的存储 和方便使用。
DB1508/T 1352021
提供录入(导入)数据与整编结果数据的比对校核功能,保证录入数据与整编数据的一致性。具体 求如下: 数据校核人员对所校核的数据比较了解,熟知对整编数据的要求,对整编数据的细节、关键属 性等有深刻的认识; 系统自动校核,校核结果作为校核人员的参考; 校核人员根据《巴彦漳尔市水利信息化申心资料整编和数据录入格式规范》和本文件的要求结 合自已的经验,对数据正确性、有效性做出判断; 记录校核结果、校核人员、校核时间等校核日志信息