DB5101/T 124.2-2021标准规范下载简介
DB5101/T 124.2-2021 公共数据资源体系 第2部分:交换技术规范.pdf数据库交换模式应满足的基础配置要求如下: a)应适配当前主流的数据库,主要包括国产数据库(如OceanBase、TDSQL、DM8、GBase、EsgynDB )和非国产数据库(如MySQL、SQLServer、Oracle、Sybase等): b)应支持多种数据抽取模式,并且每一种数据抽取模式都可以配置不同的数据抽取频率,抽取模式 括日志分析模式、触发器模式、时间戳模式和标识位模式,其中: 一日志分析模式:通过分析数据库的事务日志来判断、检测增量数据; 触发器模式:通过配置工具在要进行交换的数据表上自动创建必要的触发器,当数据发生变 化时,实时把发生变化的数据进行交换操作; 一时间戳抽取模式:在进行数据交换的数据表上设置一个时间类型的字段,当数据发生变化时 实时将该字段值更新为当前时间,系统会定时扫描发生变化的数据进行交换; 标识位模式:指在进行交换的数据表中设置一个标识字段。 应支持多种触发方式,包括但不限于手动触发与计划任务方式: 1)手动触发:指每一次发生数据交换,都是由数据需求方通过点击启动按钮来完成交换; 2) 计划任务:可指定交换开始执行的时间点(如corn表达式),来完成自动执行数据交换 应支持多种交换策略,包括一对一、一对多、多对一等交换策略。
6.2.5传输性能要求
数据库交换模式分为小量数据 a)小量数据交换 适用场景0~10万条/天!
数据库交换模式分为小量数据交换 中量数据交换和天量数据交换三类DBJ50/T-190-2019 装配式建筑混凝土预制构件生产技术标准,应满足的传输性能要求如 下: a)小量数据交换 适用场量0~10万条/天:
DB5101/T124.2202
服务器性能最低要求:CPU:4核2.6GB,内存:8GB,硬盘:500GB,网卡:100MB; 数据库性能最低要求:2MB/S; b)中量数据交换: 一适用场景10~100方条/天: 服务器性能最低要求:CPU:8核2.6GB,内存:16GB,硬盘:1TB,网卡:100MB; 数据库性能最低要求:3MB/S; c)大量数据交换: 一适用场景100万以上; 服务器性能最低要求:CPU:16核2.6GB,内存:32GB,硬盘:2TB,网卡:100MB 数据库性能最低要求:5MB/S
交换包括前置机文件共享交换和文件系统共享交
7.2前置机文件共享交换
7.2.1前置机文件共享交换模式
前置机文件共享交换模式适用于市级政务部门和使用市共享平台进行数据交换的区(市)县。 共享平台,实现市级政务部门、区(市)县两两间的数据表的共享和交换。前置机文件共享交换 图3所示。
图3前置机文件共享交换模式
市级政务部门和区(市)县既是数据提供方也是数据需求方,交换过程描述如下: a)数据提供方、数据需求方在市共享平台注册各自的前置文件系统,适配的文件格式主要包 信息服务平 括:Excel、XML、CSV、TXT等文件格式; b)数据提供方推送数据到前置文件系统;/ c)市共享平台抽取数据并发布数据资源路径; d)数据需求方查找数据资源路径并申请使用; e市共享平台推送数据到数据需求方的前置文件系统: f)数据需求方抽取本单位前置文件系统中的数据
7.2.2前置文件共享交换模式技术要求
7. 2. 2. 1概述
数据提供方、数据需求方通过前置文件交换模式在市共享平台进行文件交换应满足资源汇聚、 阅、基础配置三项要求。
DB5101/T 124. 22021
DB5101/T 124. 22021
7.2.2.2资源汇聚要求
前置文件共享交换的资源江聚主要包括:注册、创建、上传、发布四项。其中: a)注册:数据提供方填报文件资源信息,包括来源系统、更新周期、开放属性、共享属性、资源 描述等; b)创建:数据提供方应在前置信息文件库上按要求创建文件目录; c)上传:数据提供方采用技术手段(如SFTP,FTP等),将需要可共享的文件上传至规定位置,并 按照计划的更新频率对文件资源及时更新; d)发布:市共享平台基于前置文件信息库中已存放的文件资源,发布文件资源,填写内容主要包括 文件夹路径、所属节点信息、抽取频率等,完成文件资源发布。
7.2.2.3资源订阅要求
已发布的文件资源,数据需求方可向市共享平台申请订阅。订阅流程包括:查询、创建目录、订阅 和抽取四项。其中: a)查询:数据需求方在市共享平台查找所需文件资源信息,提出申请; b)创建目录:数据需求方根据文件路径创建文件目录,用于接收文件资源; c)订阅:数据需求方在市共享平台查找到对应资源后进行订阅,确定订阅后并启动订阅; d)抽取:数据需求方采用技术手段(如SFTP,FTP等)将前置信息文件库的文件抽取到本单位业务系 充使用。
7.2.2.4基础配置要求
7.2.3传输性能要求
前置文件共享交换模式应满足的传车 a)32位操作系统:最大支持4GB; b)64位操作系统:大小不限; c)服务器网络带宽最低为100MB/S。
前置文件共享交换模式应满足的传输性能要求如下: a)32位操作系统:最大支持4GB; b)64位操作系统:大小不限; C)服务器网络带宽最低为100MB/S
7.3文件系统共享交换
7.3.1文件系统共享交换模式
文件系统共享交换模式适用于市级部门和采用市共享平台进行数据交换的区(市)县应用。文件 享交换模式如图4所示。
DB5101/T124.2202
市级政务部门和区(市)县既是数据提供方也是数据需求方,交换过程如下: a)数据提供方识别文件; b)数据提供方注册并上传文件到市共享平台文件系统; C)市共享平台发布文件资源; d)数据需求方通过市共享平台查找并下载所需文件资源
7.3.2文件系统共享交换模式技术要求
7. 3. 2. 1概述
图4文件系统共享交换模式
数据提供方、数据需求方通过文件系统共享交换方式在市共享平台进行数据交换应满足资源 源订阅、基础配置三项要求,
7.3.2. 2资源汇聚要求
文件系统共享交换模式的资源汇聚应包括:识别、注册、发布三项。其中: a)识别:数据提供方应对文件资源是否允许共享交换进行识别: b)注册:数据提供方填报文件资源信息,包括来源系统、更新周期、开放属性、共享属性、资源描 述等,并上传文件; C)发布:市共享平台将文件资源发布到文件系统。
7.3.2.3资源订阅要求
已发布的文件资源,数据需求方可向市共享平台申请订阅。订阅流程包括查找和下载两项。其中: a)查找:数据需求方通过市共享平台查找所需资源信息; b)下载:数据需求方下载所需文件资源。
.3. 2. 4 基础配置要求
文件系统共享交换模式文件的基础配置要求为,支持的文件格式应包含但不限于:Excel、XML、CSV、 TXT等。
7.3.3传输性能要求
文件系统共享交换模式应满足的传输性能要求如下: a)32位操作系统:最大支持4GB; b)64位操作系统:大小不限; c)服务器网络带宽最低为100MB/S。
DB5101/T 124. 22021
DB5101/T 124. 22021
8.1服务接口交换模式
服务接口交换模式适用于市级政务部门和采用市共享平台进行数据交换的区(市)县。服务接口交 换模式如图5所示。
市级政务部门和区(市)县既是数据提供方也是数据需求方,交换过程描述如下: a)数据提供方提供在市共享平台注册接口代理; b)市共享平台生成接口代理地址; c)数据需求方通过市共享平台调用接口代理地址,获取数据资源。
B.2接口交换模式技术
数据提供方、数据需求方通过接口交换方式在市共享平台进行数据交换至少应满足资源汇 汀阅、基础配置三项要求。
8.2.2资源汇聚要求
接口共享交换模式的资源汇聚主要包括:接口创建、接口注册和接口发布三项流程。其中: a)接口创建:数据提供方应创建接口并编写接口说明文档,提供至市共享平台: b)接口注册:市共享平台配置接口资源,生成接口代理地址,需填写相关信息包括:接口名称、接 地址、请求方式、接口参数、响应参数等; C接口发布:市共享平台发布接口资源。
8.2.3资源订阅要求
已发布的数据资源,数据需求方可向数据提供方和市 取 调用和回传四项。其中: a)查找:数据需求方通过市共享平台查找所需资源目录信息; b)获取:数据需求方获取接口信息及授权码; c)调用:数据需求方通过授权码调用市共享平台接口代理地址; d)回传:市共享平台调用数据提供方的原接口地址,并将接口响应消息回传到数据需求方
8. 2. 4 基础配置要求
8.2.4.1服务接口协议
DB5101/T124.2202
服务接口应按照服务资源接人协议,原子接口采用HTTP/S1.0/1.1标准、webservice技术架构: 服务资源调用协议采用HTTPS1.0/1.1标准,具备扩展支持基于长连接的WebSocket流数据、WebSocket 物联网时序数据等
8.2.4.2接口接入要求
接口采用HTTP/S1.0/1.1、webserVice技未框架时:使用HTTP/S方法的情况,数据提供方应 TP/S的操作(如get、post、put、delete等);原子接口返回参数可采用xml、json、html、二 等;webservcie返回值使用标准的cxf和axis协议返回类型。服务接口应对融合服务平台开放测 全验证权限。
8.2.4.3接口代理要求
8.2.4.4接口调用要求
数据求方任市兴享平合提 appkey)、IP增加至白名单等操作 使用说明文档。
8. 2. 5 传输性能要求
服务接口交换模式应满足的传输性能要求如下: a)接口响应时间不超过10秒; b)接口并发数不低于100; c)采用接口下载文件类资源时,其单个文件大小不宜超过20MB。
级联交换模式适用于区(市)县自建共享交换平台与市共享平台进行数据交换的情况。级联交换模 式如图7所示。市级政务部门和区(市)县既是数据提供方也是数据需求方,区(市)县通过自建的共 享交换平台采用级联方式实现与市共享平台的数据交换,按照交换内容和数据流向分为:目录级联(包 :目录上行、目录下行)、交换级联(包括:交换上行、交换下行)。
DB5101/T124.2—2021
DB5101/T 124. 22021
9.2目录级联交换模式
2.2目录级联交换模式
目录级联按照数据流向分为目录上行和目录下行。目录级联交换模式如图7所示
9.2.2且录上行交换技术要求
9. 2. 2. 1 概述
图7目录级联交换模式
区(市)县共享交换平台调用市共享平台上行接口进行数据交换应满足操作要求、接口配 基础配置要求。
9. 2. 2. 2 操作要求
目录上行操作要求应包括: a)区(市)县共享交换平台启用本地级联系统,通过目录上行模块读取政务资源目录库中的目录分 类数据或目录数据; b)区(市)县共享交换平台调用市共享平台的上行接口上传数据到市共享平台级联系统: c)市共享平台筛查级联系统缓存的数据; d)市共享平台将筛查后的数据存放到本级政务资源目录库。
9. 2. 2. 3接口配置要求
9.2.2.4基础配置要求
9.2.2.4.1市共享平台级联基础配置要求
DB5101/T124.2202
市共享平台级联应配置级联系统、数据缓存模块、接口、管理系统、政务资源目录库等。其中: a)级联系统:实现目录上行功能; b)数据缓存模块:实现暂存接口中数据的上传和数据管理模块进行筛选功能; c)接口:实现目录上行目录分类接口和目录接口调用的功能; d)管理系统:实现数据筛选、处理重复数据、不完整数据,存放符合条件的数据到政务资源目录库 的功能; e)政务资源目录库:实现存放目录数据和目录分类信息功能
9.2.2.4.2区(市)县共享交换平台级联基础
区(市)县共享交换平台级联应配置级联系统、目录上行模块和政务资源目录库等。其中: a)级联系统:实现目录上行功能,一般由区(市)县自行开发; b)目录上行模块:实现调用市共享平台级联系统接口,上报数据到市共享平台平台的功能 c)政务资源目录库:实现存放目录数据和目录分类信息功能
9.2.3目录下行交换技术要求
9. 2. 3. 1概述
市共享平台同步目录分类或目录数据到区(市)县共享交换平台政务资源目录库的过程应满足 求和基础配置要求。
9. 2. 3. 2操作要求
目录级联下行操作要求应包括: a)市共享平台数据调度模块读取政务资源目录库中的目录数据和目录分类数据并缓存到数据暂存 区; b)区(市)县共享交换平台启用目录下行读取模块抓取数据暂存区的数据到本地下行目录数据库中; c)区(市)县共享交换平台的目录下行组件将数据存放到本级的政务资源目录库。
9. 2. 3. 3 基础配置要求
9.2.3.3.1市共享平台级联基础配置要求
市共享平台级联应配置级联系统、数据调度模块、数据暂存区和政务资源日录库等。其中: a)级联系统:实现目录下行的功能; b)数据调度模块:实现定时从政务资源目录库中抽取目录信息并按区县分配并推送到数据暂存区功 能; c)数据暂存区:实现按区(市)县分区存储目录信息,分区读取并规定时长读取数据、清除数据的 功能; d)政务资源目录库:实现存放目录数据和目录分类信息功能。
DB5101/T 124. 22021
9.2.3.3.2区(市)县共享交换平台级联基础配置要求
区(市)县共享交换平台级联应配置级联系统、目录下行读取模块、下行目录数据库、目录下行组 件和政务资源目录库等。其中: a)级联系统:实现目录下行的功能,一般由区(市)县自行开发; b)目录下行读取模块:实现从市共享平台联模块的数据暂存区获取目录数据,转存到下行目录数据 库的功能: c)下行目录数据库:实现存储从市级联系统获取的目录数据的功能; d)目录下行组件:实现从下行目录数据库获取目录数据存到到政务资源目录库的功能: e)政务资源目录库:实现存放区(市)县级目录数据和目录分类信息的功能。
交换级联按照数据流向分为交换上行和交换下行。交换级联模式如图8所示。
2.3.2交换上行技术要求
9. 3. 2. 1概述
DB5101/T124.2202
区(市)县共享交换平台通过上 传接口,同步级联数据共享层中的数据到 市共享平台,同步内容包括上行数据表和上行共享文件 交换上行模式如图9所示。区(市)县共享交 换平台调用市共享平台上行接口进行数据交
9. 3. 2. 2 操作要求
服务平 交换上行模式应配置发布、变更、撤销、查询、订阅、附件上传、取消订阅、取消撤销八类接口, 实中: a)发布接口用于表资源和文件资源发布; b)变更接口用于表资源和文件资源更新; c)撤销接口用于撤销发布的表资源和文件资源: 台 d)查询接口用于查询表资源和文件资源; e)订阅接口用于区(市)县共享交换平台检索市共享平台发布的库表、文件资源,完成资源订阅操作 )附件上传接口用于上传与资源描述信息配套的附件: g)取消订阅接口用于区(市)县共享交换平台取消订阅操作:
DB5101/T124.2—2021
h)取消撤销接口用于区(市)县共享交换平台提交资源撤销申请,在审批通过进入撤销倒计时后,区 (市)县共享交换平台调用本接口,取消资源的撤销。接口调用成功后,资源将不再被撤销,可继续 使用本资源
9.3. 2. 3 基础配置要求
9.3.2.3.1市共享平台级联基础配置要求
市共享平台级联应配置级联系统、交换程序、上传接口、交换管控等。其中: a)级联系统:实现市共享平台级联数据推送到区(市)县共享交换平台的下行数据表的功能: b)交换程序:实现市共享平台和区(市)县之间的数据交换功能; c)上传接口:实现区(市)县共享交换平台上行数据表中数据同步到市共享平台的功能: d)交换管控:实现市共享平台与区(市)县共享平台通过级联共享区进行库表与文件的级联交换功 能,其包括管控数据和交换数据: 一管控数据:级联时资源发布信息的交互信息,实现触发级联程序对资源发布信息进行获取和处 理。采用管控数据的存储方式时应配置的功能要求: 1 管控数据下行表,实现市共享平台推送资源发布信息到区(市)县共享平台的功能: 2 管控订阅下行表,实现市共享平台推送订阅数据信息到区(市)县共享平台的功能, 交换数据:级联时的业务数据载体,包括数据描述信息和信息文件。数据描述信息存储方式是 数据库表,采用信息文件存储方式配置的功能要求: 数据描述下行表,实现存放市共享平台推送数据文件描述信息到区(市)县共享平台的功能: 2 数据描述上行表,实现存放区(市)县共享平台推送数据文件描述信息到市共享平台的功能
9.3.2.3.2区(市)县共享交换平台级联基础
区(市)县共享交换平台级联应配置上行数据表、下行数据表、文件系统,上报模块和接收模块。 中: a)上行数据表:实现存储区(市)县共享平台上行数据,供市共享平台获取调用的功能: b)下行数据表:实现存储市共享平台的下行数据,供区(市)县共享平台获取使用的功能: c)文件系统:实现存储上行共享文件、下行共享文件资源的功能; d)上报模块:实现数据上报功能,由区(市)县自行研发提供; e)接收模块:实现数据接收功能,由区(市)县自行研发提供,
9.3. 3交换下行技术要求
通过市共享平台的级联程序传输到区(市)县共享交换平台的级联共享数据层的下行数据表中的共 享数据,再通过区(市)县自行研发的接收模块,同步到区(市)县共享平台的交换体系的过程。交换下 行模式如图10所示。
9. 3. 3. 2 基研础配置要求
DB5101/T124.2202
DB5101/T124.2202
市共享平台级联应配置级联系统、交换管控等,其中: a)级联系统:实现市共享平台推送数据到区(市)县共享交换平台下行数据表中的功能; b)交换管控:实现触发级联程序、获取和处理数据资源信息(包括数据描述信息和信息文件)的 功能。 注:数据描述信息存储方式是数据库表,信息文件存储方式是文件。
9.3.3.2.2区(市)具级联基础配置要求
区(市)县共享交换平台级联应配置下行数据表、下行共享文件、级联系统、接收模块移动式操作平台专项施工方案.doc,其中: a)下行数据表:实现存储市共享平台的下行数据,供区(市)县共享交换平台获取使用的功能 b)下行共享文件:实现存储下行共享文件资源的功能; c)级联系统:实现数据上报和接收功能,由区县自行研发提供; d)接收模块:实现接收市共享平台数 田文 县直行研发提供
9.4级联交换模式传输性能要求
级联交换模式应满足的传输性能要求如下: a)并发数及以上:500个; b) TPS: 5000 以及上:
DB5101/T 124. 22021
c)响应时间:1s水稳施工方案,最长不超过3s。
1]GB/T21062.1政务信息资源交换体系第1部分:总体架构 2]GB/T21062.2政务信息资源交换体系第2部分:技术要求 3】《成都市公共数据管理应用规定》(成都市人民政府令第197号)
DB5101/T124.2202